草庐IT

完了，CPU100%了，教你如何快速定位CPU100%问题

苏三呀 2023-03-28 原文

前言

cpu使用率100%问题，是一个让人非常头疼的问题。因为出现这类问题的原因千奇百怪，最关键的是它不是必现的，有可能是系统运行了一段时间之后，在突然的某个时间点出现问题。

今天特地把我和同事，之前遇到过的cpu使用率100%的问题，总结了一下，给有需要的朋友一个参数。

1、一次性获取的数据太多

我之前参与过餐饮相关的业务系统开发，当时我所在的团队是菜品的下游业务。

当时菜品系统有菜品的更新，会发kafka消息，我们系统订阅该topic，就能获取到最近更新的菜品数据。

同步菜品数据的功能，上线了一年多的时候，没有出现过什么问题。

但在某一天下午，我们收到了大量CPU100%的报警邮件。

追查原因之后发现，菜品系统出现了bug，我们每次获取到的都是全量的菜品数据，并非增量的数据。

一次性获取的数据太多。

菜品修改还是比较频繁的，也就是说我们系统，会频繁的读取和解析大量的数据，导致CPU不断飙升。

其根本原因是频繁的full gc。

2、kafka自动确认

之前我们的餐饮子系统中间，是通过消息中间件：kafka进行通信的。

上游系统中产生了数据，写入db之后，然后把相关业务单据的id，通过kafka消息发送到broker上。

下游系统订阅相关topic的消息，获取业务单据的id，然后调用上游系统的业务查询接口，获取相关业务数据。

刚开始为了方便，我们消费订单消息时，kafka的确认机制，使用的是自动确认（可以少写点代码）。

刚开始问题不大。

随着业务的发展，用户量越来越多，每天产生的kafka消息也越来越多。

终于开始爆出了cpu使用率100%的问题。

后来，我们把kafka的consumer，消费消息后改成手动确认，cpu使用率100%的问题就被解决了。

3、死循环

在实际工作中，可能每个开发都写过死循环的代码。

死循环有两种：

  1. 在while、for、forEach循环中的死循环。
  2. 无限递归。
这两种情况，程序会不停的运行，使用寄存器保存循环次数或者递归深度，一直占用cpu，导致cpu使用率飙升。

在使用JDK1.7时，还有些死循环比如多线程的环境下，往HashMap中put数据，可能会导致链表出现死循环。

就会导致cpu不断飙高。

4、多线程导数据

之前我们组有位同事做了一个供应商excel数据导入功能。

该功能上线之后发现excel中数据只要稍微多一点，导入的耗时时间就会很长。

因为导入供应商相关的业务逻辑有些复杂，涉及了多张表，而且是单线程中一条条按顺序导入的。

那位同事为了提升导入数据的性能，将单线程导入，改成了使用线程池的多线程导入。

这样改造之后，excel数据导入的速度确实提升了很多。

但上线之后，却带来另外一个问题，即：CPU使用率一路飙升。

多线程导入数据，如果线程数量比较多，会存在大量线程上下文切换的过程，这个过程非常消耗CPU资源。

5、同步大量文件

我之前参与过游戏平台的开发。

游戏厂商的游戏接入我们平台，我们帮他们推广，赚了钱进行分成。

每一款游戏都有一个定制化的官网，域名、图片和样式都不一样。

当时出于性能考虑，我们当时使用了FreeMarker模板引擎，为每一款游戏都生成专门的html的静态官网。

当时提供了十几个不同的模板，可以给游戏的运营同学选择。

原本是没啥问题的。

但有一次节日活动，为了增加一些喜庆的元素，在每一个模板文件中都加了一些样式。

这就需要把所有游戏的官网，用新的模板重新生成一次了。

生成完毕之后，需要把所有的html文件，一次性同步到web服务器的指定目录下。

由于涉及到了大量文件的同步，导致存放文件的那台应用服务器CPU飙升的很高。

6、死锁

为了防止并发场景中，多个线程修改公共资源，导致的数据异常问题。

很多时候我们会在代码中使用synchronized或者Lock加锁。

这样多个线程进入临界方法或者代码段时，需要竞争某个对象或者类的锁，只有抢到相应的锁，才能访问临界资源。其他的线程，则需要等待，拥有锁的线程释放锁，下一次可以继续竞争那把锁。

有些业务场景中，某段代码需要线程获取多把锁，才能完成业务逻辑。

但由于代码的bug，或者释放锁的顺序不正确，可能会引起死锁的问题。

例如：

"pool-4-thread-1" prio=10 tid=0x00007f27bc11a000 nid=0x2ae9 waiting on condition [0x00007f2768ef9000]
java.lang.Thread.State: WAITING (parking)
at sun.misc.Unsafe.park(Native Method)
- parking to wait for <0x0000000090e1d048> (a java.util.concurrent.locks.ReentrantLock$FairSync)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:186)

比如线程a拥有锁c，需要获取锁d，才能完成业务逻辑。

而刚好此时线程b拥有锁d，需要获取锁c，也能完成业务逻辑。

线程a等待线程b释放锁，而线程b等待线程a释放锁，两个线程都持有对方需要的锁，无法主动释放，就会出现死锁问题。

死锁会导致CPU使用率飙升。

7、正则匹配

不知道你使用过正则表达式没有?

有时候我们为了验证用户输入的手机号、邮箱、身份证号、网页地址是否合法。

通常情况下，会使用正则表达式，例如：

^([hH][tT]{2}[pP]://|[hH][tT]{2}[pP][sS]://)(([A-Za-z0-9-~]+).)+([A-Za-z0-9-~/])+$

这个正则表达式可以分为三个部分：

  • 第一部分匹配 http 和 https 协议。
  • 第二部分匹配 www. 字符。
  • 第三部分匹配许多字符。
一个写的不好的正则表达式，就可以导致cpu使用率一下子飚升。

其实这里导致 CPU 使用率高的关键原因就是：Java 正则表达式使用的引擎实现是NFA自动机，这种正则表达式引擎在进行字符匹配时会发生回溯。

而一旦发生回溯，那其消耗的时间就会变得很长，有可能是几分钟，也有可能是几个小时，时间长短取决于回溯的次数和复杂度。

我们写的正则表达式，要尽量减少回溯。

8、耗时计算

有时候，我们的业务系统需要实时计算数据，比如：电商系统中需要实时计算优惠后的最终价格。

或者需要在代码中，从一堆数据中，统计汇总出我们所需要的数据。

如果这个实时计算或者实时统计的场景，是一个非常耗时的操作，并且该场景的请求并发量还不小。

就可能会导致cpu飙高。

因为实时计算需要消耗cpu资源，如果一直计算，就会一直消耗cpu资源。

100%CPUspanstylecolor开发前端$Cpukafka

有关完了，CPU100%了，教你如何快速定位CPU100%问题的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  3. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  4. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  5. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  6. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  7. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  8. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  9. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  10. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

随机推荐