草庐IT

java - 在大型Java堆转储中查找内存泄漏的方法

coder 2023-05-16 原文

我必须在Java应用程序中找到内存泄漏。我对此有一些经验，但希望对此提供一些方法学/策略方面的建议。欢迎任何引用和建议。

关于我们的情况:

  • 堆转储大于1 GB
  • 我们有5种情况的堆转储。
  • 我们没有任何测试用例来激发这一点。仅在使用至少一个星期后，它才会在(大规模)系统测试环境中发生。
  • 该系统建立在内部开发的遗留框架上，该遗留框架具有许多设计缺陷，以至于无法将它们全部计算在内。
  • 没有人深入了解该框架。它已被转移到印度的一个几乎跟不上电子邮件回复的家伙。
  • 我们已经完成了快照堆转储，并得出结论，没有一个组件随时间增加。一切都是缓慢增长的。
  • 上面的内容为我们指明了方向，那就是框架自有的ORM系统无限制地增加了其使用率。 (此系统将对象映射到文件吗？!所以不是真正的ORM)

    • 问题:有什么方法可以帮助您成功地解决企业级应用程序中的漏洞？

    最佳答案

    如果不了解底层代码，这几乎是不可能的。如果您了解底层代码，则可以更好地根据堆转储中获得的数十亿比特信息的谷类资源对小麦进行分类。

    另外，您不知道某个类为何存在，就无法知道是否存在泄漏。

    我刚刚花了过去的两周时间来做这个，并且我使用了一个迭代过程。

    首先，我发现堆分析器基本上没有用。他们无法有效地分析巨大的堆。

    相反，我几乎完全依靠jmap直方图。

    我想您对这些很熟悉，但对于那些不是:

    jmap -histo:live <pid> > dump.out

    创建 Activity 堆的直方图。简而言之，它告诉您类名以及堆中每个类有多少个实例。

    我每天每隔5分钟，每天24小时定期倾倒垃圾。对于您来说，这可能太细微了，但要旨是相同的。

    我对此数据进行了几种不同的分析。

    我编写了一个脚本，以获取两个直方图，并转储它们之间的差异。因此，如果第一个转储中的java.lang.String为10，第二次为15，我的脚本将吐出“5 java.lang.String”，告诉我它上升了5。如果下降，则数字将为负。

    然后，我将考虑其中的一些差异，从运行中剔除掉所有失败的类，并对结果进行并集。最后，我将提供在特定时间范围内不断增长的类(class)列表。显然，这些是泄漏类的主要候选人。

    但是，有些类保留了一些，而另一些则用了GC。这些类可能很容易在总体上上升和下降，但仍然会泄漏。因此，它们可能不属于“总是上升”的类别。

    为了找到这些，我将数据转换为时间序列并将其加载到数据库中，特别是Postgres。 Postgres很方便，因为它提供了statistical aggregate functions，因此您可以在数据上进行简单的linear regression analysis，并找到趋向上升的类，即使它们并不总是位于图表的顶部。我使用了regr_slope函数，以寻找具有正斜率的类。

    我发现此过程非常成功，而且非常有效。直方图文件不是很大，并且很容易从主机上下载它们。它们在生产系统上运行并不是很昂贵(它们会强制使用大型GC，并且可能会阻塞VM一点)。我在具有2G Java堆的系统上运行它。

    现在，所有可以做的就是确定潜在的泄漏类。

    在这里，您可以了解如何使用这些类，以及是否应该使用它们。

    例如，您可能会发现您有很多Map.Entry类或其他一些系统类。

    除非您只是简单地缓存String，否则事实是这些系统类，而“违规者”可能不是“问题”。如果要缓存某些应用程序类，则该类可以更好地指示问题所在。如果您不缓存com.app.yourbean，则不会绑定(bind)任何关联的Map.Entry。

    一旦有了一些类，就可以开始爬网代码库以查找实例和引用。由于您拥有自己的ORM层(不管是好是坏)，因此至少可以轻松查看其源代码。如果您的ORM正在缓存内容，则可能是在缓存包装您的应用程序类的ORM类。

    最后，您可以做的另一件事是，一旦知道了类，就可以启动服务器的本地实例，该实例具有更小的堆和更小的数据集，并使用一个探查器对此进行监视。

    在这种情况下，您可以进行仅影响您认为可能泄漏的事物中的1个(或少数)的单元测试。例如，您可以启动服务器，运行直方图，执行单个操作，然后再次运行直方图。泄漏的类应该增加1(或任何工作单位)。

    探查器可能可以帮助您跟踪“现在泄露”的类的所有者。

    但是，最后，您将必须对代码库有一些了解，以便更好地了解什么是泄漏，什么不是泄漏以及为什么对象在堆中根本存在，而不是为什么可能保留该对象作为堆中的泄漏。

    关于java - 在大型Java堆转储中查找内存泄漏的方法，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/2511315/

    大型javabr的sectionmethodologyenterpriselegacy-codememory-leaks

    有关java - 在大型Java堆转储中查找内存泄漏的方法的更多相关文章

    1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

      我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

    2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

      总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

    3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

      类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

    4. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

      作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

    5. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

      我正在尝试设置一个puppet节点，但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter，它工作正常，但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件，它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

    6. Ruby 方法() 方法 - 2

      我想了解Ruby方法methods()是如何工作的。我尝试使用“ruby方法”在Google上搜索，但这不是我需要的。我也看过ruby​​-doc.org，但我没有找到这种方法。你能详细解释一下它是如何工作的或者给我一个链接吗？更新我用methods()方法做了实验，得到了这样的结果:'labrat'代码classFirstdeffirst_instance_mymethodenddefself.first_class_mymethodendendclassSecond使用类#returnsavailablemethodslistforclassandancestorsputsSeco

    7. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

      我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

    8. ruby - Highline 询问方法不会使用同一行 - 2

      设置:狂欢ruby1.9.2高线(1.6.13)描述:我已经相当习惯在其他一些项目中使用highline，但已经有几个月没有使用它了。现在，在Ruby1.9.2上全新安装时，它似乎不允许在同一行回答提示。所以以前我会看到类似的东西:require"highline/import"ask"Whatisyourfavoritecolor?"并得到:Whatisyourfavoritecolor?|现在我看到类似的东西:Whatisyourfavoritecolor?|竖线(|)符号是我的终端光标。知道为什么会发生这种变化吗？ 最佳答案

    9. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

      我已经从我的命令行中获得了一切，所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时，我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗？我正在使用OSX并安装了rvm。 最佳答案 或者，您可以只使用“require”，它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

    10. ruby - 多个属性的 update_column 方法 - 2

      我有一个具有一些属性的模型:attr1、attr2和attr3。我需要在不执行回调和验证的情况下更新此属性。我找到了update_column方法，但我想同时更新三个属性。我需要这样的东西:update_columns({attr1:val1,attr2:val2,attr3:val3})代替update_column(attr1,val1)update_column(attr2,val2)update_column(attr3,val3) 最佳答案 您可以使用update_columns(attr1:val1,attr2:val2

    随机推荐