前言Pod因内存不足消失，可能由2种不同的故障导致，其中对故障2的复现、监控比较繁琐、耗时、棘手；先对Podoom相关故障进行了梳理；故障1：Pod自身内存不足Pod中的运行进程占用空间超出了Pod设置的Limit限制，导致该Pod中进程被Pod内的OS内核Kill掉；此时Pod的Status为OOMKilled，Pod的OOMKilled状态可以借助Prometheus进行监控；apiVersion:v1kind:Podmetadata:name:memory-demonamespace:mem-examplespec:containers:-name:memory-demo-ctrimag
前言Pod因内存不足消失，可能由2种不同的故障导致，其中对故障2的复现、监控比较繁琐、耗时、棘手；先对Podoom相关故障进行了梳理；故障1：Pod自身内存不足Pod中的运行进程占用空间超出了Pod设置的Limit限制，导致该Pod中进程被Pod内的OS内核Kill掉；此时Pod的Status为OOMKilled，Pod的OOMKilled状态可以借助Prometheus进行监控；apiVersion:v1kind:Podmetadata:name:memory-demonamespace:mem-examplespec:containers:-name:memory-demo-ctrimag
问题产生：作者最近在搭建Hadoop+Hive集群时，将NameNode、DataNode、Rm全部部署到一台物理机上，查询量较大时连接挂掉。问题定位：使用JPS命令查看Metastore服务正常运行，hive2--Runjar挂掉。重启之后，过段时间又会挂掉。Linux内核有个机制叫OOMkiller(OutOfMemorykiller)，该机制会监控那些占用内存过大，尤其是瞬间占用内存很快的进程，然后防止内存耗尽而自动把该进程杀掉。内核检测到系统内存不足、挑选并杀掉某个进程的过程可以参考内核源代码linux/mm/oom_kill.c，当系统内存不足的时候，out_of_memory()被
问题产生：作者最近在搭建Hadoop+Hive集群时，将NameNode、DataNode、Rm全部部署到一台物理机上，查询量较大时连接挂掉。问题定位：使用JPS命令查看Metastore服务正常运行，hive2--Runjar挂掉。重启之后，过段时间又会挂掉。Linux内核有个机制叫OOMkiller(OutOfMemorykiller)，该机制会监控那些占用内存过大，尤其是瞬间占用内存很快的进程，然后防止内存耗尽而自动把该进程杀掉。内核检测到系统内存不足、挑选并杀掉某个进程的过程可以参考内核源代码linux/mm/oom_kill.c，当系统内存不足的时候，out_of_memory()被
事故描述老规矩，我们先看下事故过程：某日，从6点32分开始少量用户访问app时会出现首页访问异常，到7点20分首页服务大规模不可用，7点36分问题解决。整体经过事故的整个经过如下：6：58，发现报警，同时发现群里反馈首页出现网络繁忙，考虑到前几日晚上门店列表服务上线发布过，所以考虑回滚代码紧急处理问题。7：07，开始先后联系XXX查看解决问题。7：36，代码回滚完，服务恢复正常。事故根本原因事故代码模拟如下：publicstaticvoidtest()throwsInterruptedException,ExecutionException{Executorexecutor=Executors
事故描述老规矩，我们先看下事故过程：某日，从6点32分开始少量用户访问app时会出现首页访问异常，到7点20分首页服务大规模不可用，7点36分问题解决。整体经过事故的整个经过如下：6：58，发现报警，同时发现群里反馈首页出现网络繁忙，考虑到前几日晚上门店列表服务上线发布过，所以考虑回滚代码紧急处理问题。7：07，开始先后联系XXX查看解决问题。7：36，代码回滚完，服务恢复正常。事故根本原因事故代码模拟如下：publicstaticvoidtest()throwsInterruptedException,ExecutionException{Executorexecutor=Executors
本文转载自微信公众号「艾小仙」，作者艾小仙。转载本文请联系艾小仙公众号。现象线上某个服务有接口非常慢，通过监控链路查看发现，中间的GAP时间非常大，实际接口并没有消耗很多时间，并且在那段时间里有很多这样的请求。原因分析先从监控链路分析了一波，发现请求是已经打到服务上了，处理之前不知道为什么等了3s，猜测是不是机器当时负载太大了，通过QPS监控查看发现，在接口慢的时候CPU突然增高，同时也频繁的GC，并且时间很长，但是请求量并不大，并且这台机器很快就因为Heap满了而被下掉了。去看了下日志，果然有OOM的报错，但是从报错信息上并没办法找到RootCause。systemerror:org.spr
本文转载自微信公众号「艾小仙」，作者艾小仙。转载本文请联系艾小仙公众号。现象线上某个服务有接口非常慢，通过监控链路查看发现，中间的GAP时间非常大，实际接口并没有消耗很多时间，并且在那段时间里有很多这样的请求。原因分析先从监控链路分析了一波，发现请求是已经打到服务上了，处理之前不知道为什么等了3s，猜测是不是机器当时负载太大了，通过QPS监控查看发现，在接口慢的时候CPU突然增高，同时也频繁的GC，并且时间很长，但是请求量并不大，并且这台机器很快就因为Heap满了而被下掉了。去看了下日志，果然有OOM的报错，但是从报错信息上并没办法找到RootCause。systemerror:org.spr
作者：王晨彦开篇一天，后台统计到线上有大量OOM崩溃，小王收到老板的紧急指令，立即排查！小王心想，这还不简单，待我看看崩溃堆栈，分分钟解决。于是小王不慌不忙的打开崩溃后台，一看傻眼了，同样的OOM，却有几十种不同的堆栈，大到创建View，小到new一个String。小王差点骂了出来：这OOM不讲武德啊！骂完之后，还是得解决问题啊，否则怎么面对老板啊。心路历程正郁闷着，小王突然想起曾经看过性能优化的文章，里面介绍了AndroidStudio中集成的Profiler可以分析APP内存。既然堆栈看不出什么问题，那就只能照着文章的方法，碰碰运气了。于是小王点开了IDE底部那个毫不起眼的「Profile
作者：王晨彦开篇一天，后台统计到线上有大量OOM崩溃，小王收到老板的紧急指令，立即排查！小王心想，这还不简单，待我看看崩溃堆栈，分分钟解决。于是小王不慌不忙的打开崩溃后台，一看傻眼了，同样的OOM，却有几十种不同的堆栈，大到创建View，小到new一个String。小王差点骂了出来：这OOM不讲武德啊！骂完之后，还是得解决问题啊，否则怎么面对老板啊。心路历程正郁闷着，小王突然想起曾经看过性能优化的文章，里面介绍了AndroidStudio中集成的Profiler可以分析APP内存。既然堆栈看不出什么问题，那就只能照着文章的方法，碰碰运气了。于是小王点开了IDE底部那个毫不起眼的「Profile
