草庐IT

PHP XML 内存泄漏？

coder 2024-04-21 原文

我们的一个定期运行的脚本存在严重的内存泄漏，该脚本会迅速耗尽服务器上的可用内存。尽管进行了许多小时的研究和实验，但我什至无法对它产生任何影响。

代码如下:

    echo '1:'.memory_get_usage()."\n";
ini_set('memory_limit', '1G');
    echo '2:'.memory_get_usage()."\n";

$oXML = new DOMDocument();
    echo '3:'.memory_get_usage()."\n";
$oXML->load('feed.xml'); # 556 MB file
    echo '4:'.memory_get_usage()."\n";

$xpath = new DOMXPath($oXML);
    echo '5:'.memory_get_usage()."\n";
$oNodes = $xpath->query('//feed/item'); # 270,401 items
    echo '6:'.memory_get_usage()."\n";

unset($xpath);
    echo '7:'.memory_get_usage()."\n";
unset($oNodes);
    echo '8:'.memory_get_usage()."\n";
unset($oXML);
    echo '9:'.memory_get_usage()."\n";

这是输出:

1:679016
2:679320
3:680128
4:680568
5:681304
6:150852408
7:150851840
8:34169968
9:34169448

如您所见，当我们使用 xpath 将节点加载到对象中时，内存使用量从 681,304 跃升至 150,852,408。我对此并不十分担心。

我的问题是，即使销毁了 $oNodes 对象，我们仍然停留在 34,169,968 的内存使用量上。

但真正的问题是 PHP 显示的内存使用量只占脚本消耗的总内存量的一小部分。直接从服务器的命令行使用 free -m，我们使用的内存从 3,295 MB 减少到 5,226 MB -- 而且它永远不会下降。每次运行此脚本时，我们都会丢失 2 GB 的内存，我完全不知道为什么或如何修复它。

我尝试改用 SimpleXML，但结果基本相同。我也研究了这三个线程，但没有发现任何有用的东西:

XML xpath search and array looping with php, memory issue

DOMDocument / Xpath leaking memory during long command line process - any way to deconstruct this class

DOMDocument PHP Memory Leak

我希望这是我忽略的简单事情。

11 月 10 日更新:确实内存最终被释放了。我注意到，过了 30 多分钟后，突然又出现了一个大块。不过，很明显，最近速度还不够快，无法防止服务器内存不足和锁定。

值得一提的是，我们在 Red Hat 5.11 上运行 PHP 5.3.15 和 Apache 2.2.3。我们正在努力将所有这些更新到最新版本，因此在升级路径的某个地方，我们可能会发现此问题已修复。不过，如果在那之前做这件事就好了。

最佳答案

最近遇到了和您一样的问题。我们需要从一个 3gb 的 xml 文件中提取数据，并且还注意到服务器内存已达到其极限。有几种方法可以减少内存使用量；

  • 不要使用导致大量内存使用的 xpath，而是使用(例如)file_get_contents。然后通过正则表达式进行搜索以找到所需的数据
  • 将 xml 拆分成更小的部分。基本上它重新发明了 xml 文件，但是您可以处理文件的最大大小(因此内存)

您提到 30 分钟后释放了一些内存。在 30 分钟内阅读一个 500mb 的 xml 会变慢。我们使用的解决方案是将 3gb 的 xml 文件分成几部分(大约 200)。我们的脚本在不到 5 分钟的时间内将所需数据(大约 70 万条记录)写入我们的数据库。

关于PHP XML 内存泄漏？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33613333/

PHPXMLmemorymemory_get_usage39domxpathmemory-leaks

有关PHP XML 内存泄漏？的更多相关文章

  1. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

  2. ruby-on-rails - Ruby 中的内存模型 - 2

    ruby如何管理内存。例如:如果我们在执行过程中采用C程序，则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序

  3. 键删除后 ruby​​ 哈希内存泄漏 - 2

    你好，我无法成功如何在散列中删除key后释放内存。当我从哈希中删除键时，内存不会释放，也不会在手动调用GC.start后释放。当从Hash中删除键并且这些对象在某处泄漏时，这是预期的行为还是GC不释放内存？如何在Ruby中删除Hash中的键并在内存中取消分配它？例子:irb(main):001:0>`ps-orss=-p#{Process.pid}`.to_i=>4748irb(main):002:0>a={}=>{}irb(main):003:0>1000000.times{|i|a[i]="test#{i}"}=>1000000irb(main):004:0>`ps-orss=-p

  4. ruby-on-rails - HTTParty 的内存问题和下载大文件 - 2

    这会导致Ruby出现内存问题吗？我知道如果大小超过10KB，Open-URI会写入TempFile。但是HTTParty会在写入TempFile之前尝试将整个PDF保存到内存吗？src=Tempfile.new("file.pdf")src.binmodesrc.writeHTTParty.get("large_file.pdf").parsed_response 最佳答案 您可以使用Net::HTTP。参见thedocumentation(特别是标题为“流媒体响应机构”的部分)。这是文档中的示例:uri=URI('http://e

  5. ruby-on-rails - 内存中具有相同 ID 的更多对象？ - 2

    在部署在heroku上的Rails应用程序(v:3.1)中，我在内存中获得了更多具有相同ID的对象。我的heroku控制台日志:>>Project.find_all_by_id(92).size=>2>>ActiveRecord::Base.connection.execute('select*fromprojectswhereid=92').to_a.size=>1这怎么可能？可能是什么问题？ 最佳答案 解决方案根据您的SQL查询，您的数据库中显然没有重复条目。也许您的类项目中的size或length方法已被覆盖。我试过find_

  6. ruby - rails 3.0.7 内存泄漏 - 2

    我的两个不同的Rails应用程序的内存有一些奇怪的问题。这两个应用程序都使用rails3.0.7。每个Controller请求分配20-30-50MB的内存。在生产模式下，这个数量减少到5-10。但这是同样的事情。这是两个应用程序使用的gem列表:gem'pg'gem'haml'gem'sass'gem'devise'gem'simple_form'gem'state_machine'gem"globalize3","0.1.0.beta"gem"easy_globalize3_accessors"gem'paperclip'gem'andand'关闭所有这些gem不会给我任何结果。我

  7. ruby - 如何强制 Ruby 释放内存给操作系统 - 2

    正如标题，我有一个处理大量数据的ruby​​程序。该程序占用了所有内存，其中调用了系统命令hostname，并且发生错误无法分配内存-主机名我试过GC.start但它不起作用。那么如何强制ruby释放未使用的内存呢？OK，这是别人的测试代码，最后报错是big_var被回收了。但是内存仍然没有释放。require"weakref"defreportputs"#{param}:\t\tMemory"+`psax-opid,rss|grep-E"^[[:space:]]*#{$$}"`.strip.split.map(&:to_i)[1].to_s+'KB'endbig_var=""#big

  8. ruby - 如何在 Ruby 中从内存中 HTTP 发布流数据？ - 2

    我想上传我在运行时用Ruby生成的数据，就像从block中提供上传数据一样。我找到的所有示例仅展示了如何流式传输必须在请求之前位于磁盘上的文件，但我不想缓冲该文件。除了滚动我自己的套接字连接之外，最好的解决方案是什么？这是一个伪代码示例:post_stream('127.0.0.1','/stream/')do|body|generate_xmldo|segment|body 最佳答案 有效的代码。require'thread'require'net/http'require'base64'require'openssl'class

  9. ruby-on-rails - 如何仅修改内存中的 zip 文件？ - 2

    我有一个Ruby应用程序，我需要修改现有的zip文件。我想在内存中构建zip文件并流回字节，而无需将文件写入文件系统。如果我最终在Heroku上托管它，我认为我无法写入文件系统。有谁知道这样做的方法吗？我看了Zip::ZipFile但看起来它总是想写入文件系统。我想“基于java实现”我将能够只获取压缩文件的字节，这可以在java中完成，但我看不到这样做的方法。编辑:我要问的与此基本相同，但针对Ruby而不是Python:Functiontocreatein-memoryzipfileandreturnashttpresponse 最佳答案

  10. ruby - 无法在 Ruby 中分配内存(无 MemoryError)？ - 2

    我写了一个简单的脚本，它应该读取整个目录，然后通过去除HTML标签将HTML数据解析为普通脚本，然后将其写入一个文件。我有8GB内存和大量可用虚拟内存。当我这样做时，我有超过5GB的RAM可用。目录中最大的文件为3.8GB。脚本是file_count=1File.open("allscraped.txt",'w')do|out1|forfile_nameinDir["allParts/*.dat"]doputs"#{file_name}#:#{file_count}"file_count+=1File.open(file_name,"r")do|file|source=""tmp_sr

随机推荐