草庐IT

排查线上CPU飙高

flyjar 2023-03-28 原文

1、本案例的排查过程使用的阿里开源的Arthas工具进行的，不使用arthas，使用JDK自带的命令也是可以。

2、在开始排查之前，可以先看一下CPU的使用情况，最简单的就是使用top命令直接查看（大写P按照CPU占用率排序）：

top - 10:32:38 up 11 days, 17:56,  0 users,  load average: 0.84, 0.33, 0.18
Tasks:  23 total,   1 running,  21 sleeping,   0 stopped,   1 zombie
%Cpu(s): 95.5 us,  2.2 sy,  0.0 ni, 76.3 id,  0.0 wa,  0.0 hi,  0.0 si,  6.1 st
KiB Mem :  8388608 total,  4378768 free,  3605932 used,   403908 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  4378768 avail Mem
   PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND  
   3480 admin     20   0 7565624   2.9g   8976 S  241.2 35.8 649:07.23 java  
   1502 root      20   0  401768  40228   9084 S   1.0  0.5  39:21.65 ilogtail
   181964 root      20   0 3756408 104392   8464 S   0.7  1.2   0:39.38 java   
   496 root      20   0 2344224  14108   4396 S   0.3  0.2  52:22.25 staragentd  
   1400 admin     20   0 2176952 229156   5940 S   0.3  2.7  31:13.13 java
   235514 root      39  19 2204632  15704   6844 S   0.3  0.2  55:34.43 argusagent
   236226 root      20   0   55836   9304   6888 S   0.3  0.1  12:01.91 systemd-journ

3、可以看到，进程ID为3480的Java进程占用的CPU比较高，基本可以断定是应用代码执行过程中消耗了大量CPU，接下来开始排查具体是哪个线程，哪段代码比较耗CPU。

4、首先，下载Arthas命令：

curl -L https://arthas.aliyun.com/install.sh | sh

5、启动

./as.sh

6、使用Arthas命令”thread -n 3 -i 1000″查看当前”最忙”（耗CPU）的三个线程：


16165659820207.jpg

通过上面的堆栈信息，可以看出，占用CPU资源的线程主要是卡在JDBC底层的TCP套接字读取上。连续执行了很多次，发现很多线程都是卡在这个地方。可以分析对应的代码。从而解决CPU飙高的问题

CPU排查sectioncode

有关排查线上CPU飙高的更多相关文章

  1. 电脑启动后显示器黑屏怎么办？排查下面4个问题，快速解决 - 2

    电脑启动出现显示器黑屏是一个相当常见的问题。如果您遇到了这个问题，不要惊慌，因为它有很多可能的原因，可以采取一些简单的措施来解决它。在本文中，小编将介绍下面4种常见的电脑启动后显示器黑屏的原因，排查这些原因，快速解决！ 演示机型：联想Ideapad700-15ISK-ISE系统版本：Windows10一、显示器问题如果出现电脑启动后显示器黑屏的情况。那么首先您需要检查一下显示器是否正常工作。您可以通过更换另一个显示器或将当前显示器连接到另一台计算机来检查显示器是否存在问题。如果问题仍然存在，那么您可以排除显示器故障的可能性。 二、显卡问题如果您的电脑配备了独立显卡，那么显卡故障也可能是导致电脑

  2. ruby-on-rails - 负载测试期间 Unicorn CPU 使用率激增，优化方法 - 2

    我对为我的RubyonRails3.1.3应用优化我的Unicorn设置的方法很感兴趣。我目前正在高CPU超大实例上生成14个工作进程，因为我的应用程序在负载测试期间似乎受CPU限制。在模拟负载测试中，每秒大约20个请求重放请求，我的实例上的所有8个内核都达到峰值，盒子负载飙升至7-8个。每个unicorn实例使用大约56-60%的CPU。我很好奇可以通过哪些方式对其进行优化？我希望能够每秒将更多请求汇集到这种大小的实例上。内存和所有其他I/O一样完全正常。在我的测试过程中，CPU越来越低。 最佳答案 如果您受CPU限制，您希望使用

  3. 基于SpringBoot的线上日志阅读器 - 2

    软件特点部署后能通过浏览器查看线上日志。支持Linux、Windows服务器。采用随机读取的方式，支持大文件的读取。支持实时打印新增的日志（类终端）。支持日志搜索。使用手册基本页面配置路径配置日志所在的目录，配置后按回车键生效，下拉框选择日志名称。选择日志后点击生效，即可加载日志。windows路径E:\java\project\log-view\logslinux路径/usr/local/XX历史模式历史模式下，不会读取新增的日志。针对历史文件可以分页读取，配置分页大小、跳转。历史模式下，支持根据关键词搜索。目前搜索引擎使用的是jdk自带类库，搜索速度相对较低，优点是比较简单。2G日志全文搜

  4. ruby - Ruby 进程如何限制其 CPU 使用率？ - 2

    假设我希望Ruby进程使用的CPU不超过15%。是否可以？怎么办？ 最佳答案 您可以尝试使用Process.setrlimit来自标准核心:Setstheresourcelimitoftheprocess.这看起来只是setrlimit的包装器来自C库，因此它可能仅在Unix-ish平台上可用。setrlimit不支持CPU百分比限制，但它支持以秒为单位限制CPU时间。如果您只是想让您的Ruby进程不占用整个CPU，那么您可以尝试使用Process.setpriority来调整它的优先级。这只是libc的setpriority的包装

  5. ruby - Unicorn Rails - 在生产模式下启动时占用 100% CPU - 2

    我们正在使用Unicorn_Rails+nginx。它在我的系统(4GBRam，Intel(R)Core(TM)2DuoCPUP8600@2.40GHz)的开发模式和生产模式下运行良好我能够在本地系统中启动10个worker，但在任何情况下都无法在生产中启动超过2个有时它可以工作，但需要等待15-20米启动unicorn_rails时一直占用99.6%的CPU英特尔(R)至强(R)CPUE5507@2.27GHz但它卡在亚马逊(m1.small实例)1.73GB内存我发现没有人在任何地方谈论使用unicorn_rails启动缓慢...... 最佳答案

  6. ruby-on-rails - Rails、Minitest 和 Guard - 为什么 rb-fsevent 占用了超过 100% 的 CPU？ - 2

    我在我的Rails应用程序中运行守卫，测试套件(最小的)最近停止正常工作。如果幸运的话，它会运行所有测试一次，也许两次。在那之后，即使是一个小的测试文件被更改也需要很长时间才能响应，以至于使用gem变得徒劳无功。在测试运行时跟随top，我可以看到有一个ruby​​进程持续占用了超过100%的CPU。即使所有测试都已运行并且我没有对文件进行任何更改。ruby进程是:/Users/Bodacious/.rvm/gems/ruby-2.0.0-p247@MyApp/gems/rb-fsevent-0.9.3/bin/fsevent_watch--latency0.1/Users/Bodaio

  7. ruby - Sidekiq 可以利用多个 CPU 内核吗？ - 2

    我是Sidekiq的新手，将它与AmazonEC2实例上的Ruby结合使用，以使用ImageMagick处理图像来完成一些工作。在运行它时，我意识到每个工作人员都在同一个核心上运行。我使用EC2c3.2xlarge机器，它们有8个内核。它显示CPU使用率为15%，但一个内核使用了100%，而其他内核使用了0%。Sidekiq可以为不同的worker使用不同的CPU内核吗？如果可以，这种低效率是由ImageMagic造成的吗？我怎样才能让它使用其他内核？ 最佳答案 如果您想使用MRI使用多个内核，则需要启动多个Sidekiq进程；为您

  8. ruby-on-rails - 了解为什么 ruby​​ 进程在 100% CPU 时阻塞的方法 - 2

    我们有一个大型Rails应用程序，几天后，我们的ruby​​进程似乎陷入循环并占用100%的CPU，直到乘客服务器死机并引发502错误。您知道找出原因的最佳方法吗？我已经尝试过NewRelic，但它只是性能方面的东西，而且我们的错误太多了，无法猜测问题出在哪里。(我们每天有很多请求和很多UTF-8BSON错误，因为我们使用的是UTF-8url)使用:Rails3.2.6和Ruby1.9.2p290乘客3.0.13MongoDB2.0.1和Mongoid2.4.11NginxFreeBSD8.2 最佳答案 找出ruby卡住位置的简便方

  9. 记录一次挖矿病毒kthreaddk和rcu_bj，导致CPU飙高处理 - 2

    htop命令存在kthreaddk和rcu_bj进程，cpu飙高 占用一般cpu或者70-80%1、检查定时任务查看是否有#crontab-l 检查root账号是否有异常定时任务有的话crontab-e修改定时任务保存并检查所有的用户有没有定时任务(注：我的是gitlabgit账户被入侵)异常进程直接删除crontab-ugit-l查看git账号是否有异常定时任务 如有恶意定时任务删除#ls-l/proc/pid  查看进程文件#crontab-r  清空定时任务2、删除相关植入的恶意文件文件中/usr/lib/sys恶意文件 直接清空文件数据脚本执行先杀进程再清空日志后回收内存基本可以清掉数

  10. ubuntu18.04部署DXSLAM，CNN+VSLAM，CPU实时运行 - 2

    一、下载源代码打开终端，输入命令克隆仓库gitclonehttps://github.com/raulmur/DXSLAM.gitDXSLAM二、配置环境WehavetestedthelibraryinUbuntu16.04andUbuntu18.04,butitshouldbeeasytocompileinotherplatforms.C++11orC++0xCompilerPangolinOpenCVEigen3Dbow、Fbowandg2o(IncludedinThirdpartyfolder)tensorflow(1.12)作者提供了一个脚本build.sh来编译Thirdparty目

随机推荐