我有一个 XML 文件，我想用 python 解析它。最好的方法是什么？将整个文档记入内存将是灾难性的，我需要以某种方式一次读取一个节点。
我所知道的现有 XML 解决方案:
但由于我提到的问题，我担心它们无法正常工作。我也无法在文本编辑器中打开它 - generao 中关于处理巨型文本文件的任何好的提示？
最佳答案
首先，您是否尝试过 ElementTree(内置的纯 Python 或 C 版本，或者更好的是 lxml 版本)？我很确定他们都没有真正将整个文件读入内存。
当然，问题在于，无论是否将整个文件读入内存，生成的解析树最终都会在内存中。
ElementTree 有一个漂亮的解决方案，非常简单，而且通常就足够了:iterparse .
for event, elem in ET.iterparse(xmlfile, events=('end')):
...
这里的关键是您可以在构建树时对其进行修改(通过将内容替换为仅包含父节点所需内容的摘要)。通过在内存中丢弃所有不需要保留在内存中的内容，您可以坚持按照通常的顺序解析内容，而不会耗尽内存。
链接页面提供了更多详细信息，包括一些在处理时修改 XML-RPC 和 plist 的示例。 (在那些情况下，这是为了使生成的对象更易于使用，而不是为了节省内存，但它们应该足以让想法得到理解。)
只有当您能想出一种方法来总结时，这才有用。 (在最简单的情况下，父级不需要来自其子级的任何信息，这只是 elem.clear()。)否则，这对你不起作用。
标准溶液是SAX ，这是一种基于回调的 API，可让您一次对树的一个节点进行操作。您无需像使用 iterparse 那样担心节点被截断，因为节点在您解析后不存在。
大多数最好的 SAX 示例都是针对 Java 或 Javascript 的，但它们并不难理解。例如，如果您查看 http://cs.au.dk/~amoeller/XML/programming/saxexample.html你应该能够弄清楚如何用 Python 编写它(只要你知道在哪里可以找到 the documentation for xml.sax )。
还有一些基于 DOM 的库无需将所有内容都读入内存即可工作，但据我所知，没有任何库能够以合理的效率处理 40GB 的文件。
关于python - 在 python 中解析一个大的 (~40GB) XML 文本文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12612229/
我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么？我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等，你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算，还是有更好的方法？也许为此目的准备了一个开箱即用的库？
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta
我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何
我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>
我正在使用ruby1.9解析以下带有MacRoman字符的csv文件#encoding:ISO-8859-1#csv_parse.csvName,main-dialogue"Marceu","Giveittohimóhe,hiswife."我做了以下解析。require'csv'input_string=File.read("../csv_parse.rb").force_encoding("ISO-8859-1").encode("UTF-8")#=>"Name,main-dialogue\r\n\"Marceu\",\"Giveittohim\x97he,hiswife.\"\
我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据，就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理？我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题；这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML，但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中，将我的XML代码修改为
如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象
关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串？SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复？