前言Pod因内存不足消失，可能由2种不同的故障导致，其中对故障2的复现、监控比较繁琐、耗时、棘手；先对Podoom相关故障进行了梳理；故障1：Pod自身内存不足Pod中的运行进程占用空间超出了Pod设置的Limit限制，导致该Pod中进程被Pod内的OS内核Kill掉；此时Pod的Status为OOMKilled，Pod的OOMKilled状态可以借助Prometheus进行监控；apiVersion:v1kind:Podmetadata:name:memory-demonamespace:mem-examplespec:containers:-name:memory-demo-ctrimag
问题产生：作者最近在搭建Hadoop+Hive集群时，将NameNode、DataNode、Rm全部部署到一台物理机上，查询量较大时连接挂掉。问题定位：使用JPS命令查看Metastore服务正常运行，hive2--Runjar挂掉。重启之后，过段时间又会挂掉。Linux内核有个机制叫OOMkiller(OutOfMemorykiller)，该机制会监控那些占用内存过大，尤其是瞬间占用内存很快的进程，然后防止内存耗尽而自动把该进程杀掉。内核检测到系统内存不足、挑选并杀掉某个进程的过程可以参考内核源代码linux/mm/oom_kill.c，当系统内存不足的时候，out_of_memory()被
问题产生：作者最近在搭建Hadoop+Hive集群时，将NameNode、DataNode、Rm全部部署到一台物理机上，查询量较大时连接挂掉。问题定位：使用JPS命令查看Metastore服务正常运行，hive2--Runjar挂掉。重启之后，过段时间又会挂掉。Linux内核有个机制叫OOMkiller(OutOfMemorykiller)，该机制会监控那些占用内存过大，尤其是瞬间占用内存很快的进程，然后防止内存耗尽而自动把该进程杀掉。内核检测到系统内存不足、挑选并杀掉某个进程的过程可以参考内核源代码linux/mm/oom_kill.c，当系统内存不足的时候，out_of_memory()被
GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。作者：王权富贵文章来源：GreatSQL社区原创背景在一次日常测试中发现，kill一个会话后，SQL语句依然在运行并没终止；被kill的会话重新连接并继续执行原来的SQL语句。测试本次测试基于MySQL8.0.271.创建测试表createtablet1(idint,namevarchar(30));insertintot1values(1,'a'),(2,'b');2.开启3个会话session1session2session3begin;selec
GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。作者：王权富贵文章来源：GreatSQL社区原创背景在一次日常测试中发现，kill一个会话后，SQL语句依然在运行并没终止；被kill的会话重新连接并继续执行原来的SQL语句。测试本次测试基于MySQL8.0.271.创建测试表createtablet1(idint,namevarchar(30));insertintot1values(1,'a'),(2,'b');2.开启3个会话session1session2session3begin;selec
GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。作者：王权富贵文章来源：GreatSQL社区原创背景在一次日常测试中发现，kill一个会话后，SQL语句依然在运行并没终止；被kill的会话重新连接并继续执行原来的SQL语句。测试本次测试基于MySQL8.0.271.创建测试表createtablet1(idint,namevarchar(30));insertintot1values(1,'a'),(2,'b');2.开启3个会话session1session2session3begin;selec
GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。作者：王权富贵文章来源：GreatSQL社区原创背景在一次日常测试中发现，kill一个会话后，SQL语句依然在运行并没终止；被kill的会话重新连接并继续执行原来的SQL语句。测试本次测试基于MySQL8.0.271.创建测试表createtablet1(idint,namevarchar(30));insertintot1values(1,'a'),(2,'b');2.开启3个会话session1session2session3begin;selec
事故描述老规矩，我们先看下事故过程：某日，从6点32分开始少量用户访问app时会出现首页访问异常，到7点20分首页服务大规模不可用，7点36分问题解决。整体经过事故的整个经过如下：6：58，发现报警，同时发现群里反馈首页出现网络繁忙，考虑到前几日晚上门店列表服务上线发布过，所以考虑回滚代码紧急处理问题。7：07，开始先后联系XXX查看解决问题。7：36，代码回滚完，服务恢复正常。事故根本原因事故代码模拟如下：publicstaticvoidtest()throwsInterruptedException,ExecutionException{Executorexecutor=Executors
事故描述老规矩，我们先看下事故过程：某日，从6点32分开始少量用户访问app时会出现首页访问异常，到7点20分首页服务大规模不可用，7点36分问题解决。整体经过事故的整个经过如下：6：58，发现报警，同时发现群里反馈首页出现网络繁忙，考虑到前几日晚上门店列表服务上线发布过，所以考虑回滚代码紧急处理问题。7：07，开始先后联系XXX查看解决问题。7：36，代码回滚完，服务恢复正常。事故根本原因事故代码模拟如下：publicstaticvoidtest()throwsInterruptedException,ExecutionException{Executorexecutor=Executors
本文转载自微信公众号「艾小仙」，作者艾小仙。转载本文请联系艾小仙公众号。现象线上某个服务有接口非常慢，通过监控链路查看发现，中间的GAP时间非常大，实际接口并没有消耗很多时间，并且在那段时间里有很多这样的请求。原因分析先从监控链路分析了一波，发现请求是已经打到服务上了，处理之前不知道为什么等了3s，猜测是不是机器当时负载太大了，通过QPS监控查看发现，在接口慢的时候CPU突然增高，同时也频繁的GC，并且时间很长，但是请求量并不大，并且这台机器很快就因为Heap满了而被下掉了。去看了下日志，果然有OOM的报错，但是从报错信息上并没办法找到RootCause。systemerror:org.spr
