您推荐哪种 XML 解析器用于以下目的:
XML 文件(格式化，包含空格)大约为 800 MB。它主要包含三种类型的标签(我们称它们为 n、w 和 r)。 它们有一个名为 id 的属性，我必须尽快搜索它。
删除我不需要的属性可以节省大约 30%，也许更多。
第一部分用于优化第二部分:是否有任何好的工具(如果可能，命令行 linux 和 windows)可以轻松删除某些标签中未使用的属性？我知道可以使用 XSLT。或者有什么简单的选择吗？另外，我可以将它分成三个文件，每个标签一个，以便为以后的解析提高速度...... 对于这种数据准备，速度并不是太重要，当然，如果只需要几分钟而不是几小时就更好了。
第二部分:一旦我准备好数据，无论是否缩短，我都应该能够搜索我提到的 ID 属性，这是时间紧迫的。
使用 wc -l 的估计告诉我大约有 3M 个 N 标签和大约 418K 个 W 标签。后者每个最多可包含大约 20 个子标签。 W-Tags 也包含一些，但它们会被剥离。
“我所要做的”就是在包含某些 id 属性的标签之间导航。一些标签引用了其他 id，因此给了我一棵树，甚至可能是一张图。原始数据很大(如前所述)，但结果集不应太大，因为我只需要挑选出某些元素。
现在的问题是:对于这种处理，我应该使用什么 XML 解析库？我会首先使用 Java 6，并考虑将其移植到 BlackBerry。
创建一个平面文件索引 id 并指向文件中的偏移量可能有用吗？甚至有必要做上半部分提到的优化吗？或者是否有已知的解析器与原始数据一样快？
小提示:为了测试，我将 id 放在文件的最后一行并使用 grep 搜索 id。这在 Core 2 Duo 上花费了大约一分钟。
如果文件变得更大，比如 5 GB，会发生什么情况？
我很感激任何通知或建议。 非常感谢大家，并问候
最佳答案
正如 Bouman 所指出的，将其视为纯文本处理将为您提供尽可能快的速度。
要将其作为 XML 进行处理，唯一实用的方法是使用 SAX 解析器。 SAX 解析器中构建的 Java API 完全能够处理此问题，因此无需安装任何第三方库。
关于java - XML:处理大数据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/2301926/
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack
我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据，就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理？我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题；这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML，但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中，将我的XML代码修改为
我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/
有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳
我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www
我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我
什么是ruby的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD
