草庐IT

Java程序运行一段时间后变慢

coder 2023-06-04 原文

我有一个 java 程序，它是一个典型的机器学习算法，通过一些方程式更新一些参数的值:

for (int iter=0; iter<1000; iter++) {
    // 1. Create many temporary variables and do some computations                         
    // 2. Update the value for the parameters                    
}

更新参数的计算相当复杂，我必须创建许多临时对象，但它们没有被引用到循环之外。循环中的代码是 CPU 密集型的，并且不访问磁盘。该程序加载了一个相对较大的训练数据集，因此，我为 JVM 授予了 10G 内存 (-Xmx10G)，这比它所需的要大得多(通过“top”命令或窗口的任务管理器达到约 6G 的峰值)。

我在几台安装了 SUN Hotspot JDK/JRE 1.8 的 linux 机器(centos 6, 24G 内存)和一台 windows 机器(win7, 12G)上对其进行了测试。我没有指定除-Xmx 之外的其他JVM 参数。两台机器都专用于我的程序。

在 Windows 上，我的程序运行良好:每次迭代使用非常相似的运行时间。但是，所有 centos 机器上的运行时间都很奇怪。 它最初运行正常，但在第 7 次/第 8 次迭代时会显着减慢(慢约 10 倍)，然后在以后的每次迭代中都会减慢约 10%。

我怀疑这可能是由 Java 的垃圾收集器引起的。因此，我使用 jconsole 来监控我的程序。 Minor GC 在两台机器上都非常频繁地发生，这是因为程序在循环中创建了许多临时变量。此外，我使用“jstat -gcutil $pid$ 1s”命令并捕获了统计信息:

Centos:https://www.dropbox.com/s/ioz7ai6i1h57eoo/jstat.png?dl=0

窗口:https://www.dropbox.com/s/3uxb7ltbx9kpm9l/jstat-winpng.png?dl=0

[已编辑] 但是，两种机器上的统计数据差异很大:

  1. windows 上的“S1”在 0 到 50 之间快速跳跃，而 centos 上保持在“0.00”。
  2. windows 上的“E”从 0 到 100 变化非常迅速。当我打印每秒的统计数据时，屏幕截图并没有显示它的增量为 100。然而，在 centos 上，“E”向 100 增长相当缓慢，并且然后减少到 0，然后再次增加。

我的程序的奇怪行为似乎是由于 Java GC 造成的？ 我是 Java 性能监视器的新手，不知道如何优化 GC 参数设置。你有什么建议吗？非常感谢!

最佳答案

我很抱歉发布这个作为答案，但我没有足够的分数来发表评论。

如果您认为这是与 GC 相关的问题，我会为 Garbage 1 Collector –XX:+UseG1GC 更改它

我找到了这个简短的解释: http://blog.takipi.com/garbage-collectors-serial-vs-parallel-vs-cms-vs-the-g1-and-whats-new-in-java-8/

您可以在分析下运行您的软件吗？尝试使用 jprofiler、VisualVM 甚至 netbeans 分析器。可能对你有很大帮助。

我注意到您有自己的 vector 和矩阵封装。 也许您也为此花费了过多的内存。但我认为这不是问题。

再次抱歉没有作为评论贡献。 (这样会更合适)

关于Java程序运行一段时间后变慢，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29748429/

Java程序section的stronglinuxperformancememorygarbage-collection

有关Java程序运行一段时间后变慢的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  3. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  4. ruby - 在 Ruby 中编写命令行实用程序 - 2

    我想用ruby​​编写一个小的命令行实用程序并将其作为gem分发。我知道安装后，Guard、Sass和Thor等某些gem可以从命令行自行运行。为了让gem像二进制文件一样可用，我需要在我的gemspec中指定什么。 最佳答案 Gem::Specification.newdo|s|...s.executable='name_of_executable'...endhttp://docs.rubygems.org/read/chapter/20 关于ruby-在Ruby中编写命令行实用程序

  5. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件？ - 2

    在选择我想要运行操作的频率时，唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案，但您可以安排它每天运行，并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/8692687/

  6. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  7. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如，一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情，所以我什至不知道从哪里开始。任何帮助，将不胜感激。谢谢! 最佳答案 无论Rails是什么，几乎所有Web应用程序都有您的要求，大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去，网站不应直接访问彼此

  8. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  9. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗？ - 2

    刚入门rails，开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗？有哪些用例。您如何为Rails应用程序使用应用程序Controller？我不想在那里放太多代码，因为据我了解，每个请求都会调用此Controller。这是真的？ 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度，尽管在某些情况下ApplicationContr

  10. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

随机推荐