草庐IT

java - 即使堆等大小稳定，为什么Sun JVM仍继续消耗更多的RSS内存？

coder 2023-05-15 原文

在过去的一年中，我在应用程序的Java堆使用方面取得了巨大的进步-减少了66％。为此，我一直在通过SNMP监视各种指标，例如Java堆大小，cpu，Java非堆等。
最近，我一直在监视JVM有多少实际内存(RSS，驻留集)，这让我有些惊讶。 JVM消耗的实际内存似乎完全独立于我的应用程序堆大小，非堆，eden空间，线程数等。
通过Java SNMP测得的堆大小
Java Heap Used Graph http://lanai.dietpizza.ch/images/jvm-heap-used.png
实际内存，以KB为单位。 (例如:1 MB KB = 1 GB)
Java Heap Used Graph http://lanai.dietpizza.ch/images/jvm-rss.png
(堆图中的三个下降对应于应用程序更新/重新启动。)
这对我来说是个问题，因为JVM消耗的所有额外内存都是“窃取”内存，操作系统可以将其用于文件缓存。实际上，一旦RSS值达到〜2.5-3GB，我开始发现应用程序的响应时间变慢并且CPU利用率更高，大多数情况下是等待IO等待。随着对交换分区的分页开始生效，这是非常不可取的。
所以，我的问题是:

  • 为什么会这样？ “幕后”发生了什么？
  • 我该怎么做才能检查JVM的实际内存消耗？

    • 血腥细节:
  • RHEL4 64位(Linux-2.6.9-78.0.5.ELsmp＃1 SMP Wed Sep 24 ... 2008 x86_64 ... GNU/Linux)
  • Java 6(内部版本1.6.0_07-b06)
  • Tomcat 6
  • 应用程序(点播HTTP视频流)
  • 通过java.nio FileChannels的高I/O
  • 数以百计的低线程
  • 数据库使用率低
  • Spring ， hibernate


    • 相关的JVM参数:
    -Xms128m  
-Xmx640m  
-XX:+UseConcMarkSweepGC  
-XX:+AlwaysActAsServerClassMachine  
-XX:+CMSIncrementalMode    

-XX:+PrintGCDetails 
-XX:+PrintGCTimeStamps  
-XX:+PrintGCApplicationStoppedTime  
-XX:+CMSLoopWarn  
-XX:+HeapDumpOnOutOfMemoryError
    我如何衡量RSS:
    ps x -o command,rss | grep java | grep latest | cut -b 17-
    这将进入一个文本文件，并定期将其读入监视系统的RRD数据库中。注意ps输出千字节。

    问题与解决方案:
    最终，是 ATorras 的答案最终被证明是正确的，而 kdgregory 却通过pmap指导了我正确的诊断路径。 (去投票给他们两个答案!)这是正在发生的事情:
    我肯定知道的事情:
  • 我的应用程序使用JRobin 1.4记录和显示数据，这是我三年前编码到我的应用程序中的东西。
  • 应用程序最繁忙的实例当前创建
  • 在启动
    • 的一个小时内，有1000多个新的JRobin数据库文件(每个文件约1.3MB)
    启动后，每天〜+ 100多个

  • 如果有东西要写，该应用程序每15秒钟更新一次这些JRobin数据库对象。
  • 在默认配置JRobin中:
  • 使用基于java.nio的文件访问后端。该后端将MappedByteBuffers映射到文件本身。
  • 每五分钟一个JRobin守护程序线程在每个JRobin基础数据库MBB上调用MappedByteBuffer.force()

    • 列出的
  • pmap:
  • 6500映射
  • 5500是1.3MB JRobin数据库文件，大约7.1GB


    • 最后一点是我的“ Eureka !”时刻。
    我的纠正措施:
  • 考虑更新到最新的JRobinLite 1.5.2，显然更好
  • 在JRobin数据库上实现适当的资源处理。此刻，一旦我的应用程序创建了一个数据库，然后在不再主动使用该数据库之后再也不会将其转储。
  • 尝试将MappedByteBuffer.force()移至数据库更新事件，而不是周期性的计时器。问题会神奇地解决吗？
  • 立即，将JRobin后端更改为java.io实现-行更改。这会比较慢，但是可能不是问题。以下图表显示了此更改的直接影响。

    • Java RSS memory used graph http://lanai.dietpizza.ch/images/stackoverflow-rss-problem-fixed.png
    我可能没有时间想出的问题:
  • 带有MappedByteBuffer.force()的JVM内部发生了什么？如果没有任何变化，它是否仍会写入整个文件？文件的一部分？它首先加载吗？
  • 是否始终在RSS中始终有一定数量的MBB？ (RSS大约是分配的MBB大小总数的一半。巧合吗？我怀疑不是。)
  • 如果我将MappedByteBuffer.force()移至数据库更新事件，而不是定期使用计时器，问题会神奇地消失吗？
  • 为什么RSS斜率如此规则？它与任何应用程序负载指标都不相关。

    • 最佳答案

    只是一个想法:NIO缓冲区位于JVM外部。

    编辑:
    在2016年，值得考虑@Lari Hotari评论[Why does the Sun JVM continue to consume ever more RSS memory even when the heap, etc sizes are stable?]，因为回到2009年，RHEL4的glibc <>

    问候。

    关于java - 即使堆等大小稳定，为什么Sun JVM仍继续消耗更多的RSS内存？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1612939/

    即使javastronglicodememoryjvmsunperformance

    有关java - 即使堆等大小稳定，为什么Sun JVM仍继续消耗更多的RSS内存？的更多相关文章

    1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

      类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

    2. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

      我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

    3. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

      作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

    4. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

      我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

    5. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

      我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

    6. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

      我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

    7. ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996？但是 4.2%2==0.2 - 2

      为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返

    8. ruby - ruby 中的 TOPLEVEL_BINDING 是什么？ - 2

      它不等于主线程的binding，这个toplevel作用域是什么？此作用域与主线程中的binding有何不同？>ruby-e'putsTOPLEVEL_BINDING===binding'false 最佳答案 事实是，TOPLEVEL_BINDING始终引用Binding的预定义全局实例，而Kernel#binding创建的新实例>Binding每次封装当前执行上下文。在顶层，它们都包含相同的绑定(bind)，但它们不是同一个对象，您无法使用==或===测试它们的绑定(bind)相等性。putsTOPLEVEL_BINDINGput

    9. ruby - Infinity 和 NaN 的类型是什么？ - 2

      我可以得到Infinity和NaNn=9.0/0#=>Infinityn.class#=>Floatm=0/0.0#=>NaNm.class#=>Float但是当我想直接访问Infinity或NaN时:Infinity#=>uninitializedconstantInfinity(NameError)NaN#=>uninitializedconstantNaN(NameError)什么是Infinity和NaN？它们是对象、关键字还是其他东西？ 最佳答案 您看到打印为Infinity和NaN的只是Float类的两个特殊实例的字符串

    10. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象，为什么它会起作用？ - 2

      如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象

    随机推荐