草庐IT

超大型

全部标签

c# - 在 C# 中使用 XMLWriter 创建大型 xml

我试图使用XMLWriter创建一个包含大量数据的xml,该函数执行时没有任何异常。但是当我打开XML时,我发现创建的XML不完整,它在中途被破坏了.我不知道我做错了什么。XMLWriter是否有任何默认大小限制?XMLWriter是创建大型XML的最佳方式吗?如果不是请让我知道创建大型xml的最佳方法是什么?使用XDocument让我的生活更轻松吗?这是我的代码结构(我不能把我的原始代码放在这里!!:()using(//filestream){XmlWritermywriter=newXmlWriter.Create(@"C:\mydata.xml");//writestartele

php - 在 PHP 中解析大型 XML

我需要在PHP中解析相当大的XML(例如300MB)。我怎样才能最有效地做到这一点?特别是,我需要定位特定标签并将其内容提取到一个平面TXT文件中,仅此而已。 最佳答案 您可以使用老式SAX-basedparsing以block的形式读取和解析XML使用PHP的方法xmlparserfunctions.使用这种方法,您可以解析的文档大小没有真正的限制,因为您一次只需读取和解析一个满缓冲区。解析器将触发事件以指示它已找到标签、数据等。有一个simpleexampl手册中的e显示了如何获取标签的开始和结束。为了您的目的,您可能还想使用x

ruby - 如何使用 libxml-ruby 在 Ruby 中读取大型 XML 文件?

我们已经使用libxml-ruby几年了。它在30MB或更少的文件上非常棒,但它受到段错误的困扰。项目中似乎没有人真正关心修复它们,只是将这些归咎于第3方软件。这是他们的特权,当然是免费的。但我仍然无法读取这些大文件。我想我可以写一些糟糕的hack来将它们拆分成更小的文件,但我想避免这种情况。还有其他人有在Ruby中读取非常大的XML文件的经验吗? 最佳答案 当加载大文件时,无论它们是不是xml,您应该开始考虑一次分片(在这种情况下称为流),而不是将整个文件加载到内存中。我强烈建议阅读thisarticleaboutpullpars

iphone - 将大型 XML 文件转换为 SQLite 文件的最快方法是什么?

我正在从XML文件中检索数据,但该文件包含超过15000条记录,因此我的应用程序变慢了。所以我想将它转换成SQLLite文件(通过以编程方式使用或使用任何工具)。请为我提供任何解决方案。 最佳答案 我建议使用核心数据。解析日期,创建托管对象并让CoreData将这些对象保存到sqlite数据库中。接下来的好处是,您以后不必再关心sql语句。要预填充核心数据数据库,请阅读thisarticle.我会用Ruby或PHP编写一个简单的xml2sqlite导入器。如果您不熟悉脚本语言,请查看SQLiteManager它是一个用于管理SQLi

javascript - 在 Node.js 中解析大型 XML 文件

所以我有一个大于70mb的XML文件。我想在Node.js中解析这些数据,最终对其进行数据可视化。首先,我认为最好使用JSON而不是XML,因为Node.js更适合使用JSON。所以我计划使用xml2jsonNode模块将xml解析为JSON,但我似乎无法将xml文件写入变量,因为它太大了。我尝试使用以下代码执行此操作。varfs=require('fs');fs.readFile(__dirname+'/xml/ipg140114.xml','utf8',function(err,data,parseXml){if(err){returnconsole.log(err);}});我收

python - 在 python 中使用 lxml iterparse 解析大型 .bz2 文件 (40 GB)。未压缩文件不会出现的错误

我正在尝试解析以bz2格式压缩的OpenStreetMap的planet.osm。因为已经41G了,不想解压完全。所以我想出了如何使用bz2和lxml解析planet.osm文件的部分,使用以下代码fromlxmlimportetreeasetfrombz2importBZ2Filepath="where/my/fileis.osm.bz2"withBZ2File(path)asxml_file:parser=et.iterparse(xml_file,events=('end',))forevents,eleminparser:ifelem.tag=="tag":continueif

java - 使用外部 DTD 中的实体将大型 XML 从 ISO-8859-1 转换为 UTF-8

我有:ISO-8859-1中2.2GiB的未压缩XML,从开始定义实体的相应DTD如下:无法将解析后的XML装入RAM的计算机我要将XML导入ApacheSolr,它已经设置好并可以正常工作。Solr/Java会(理所当然地)提示扩展实体太多,我可以通过设置-DentityExpansionLimit=2000000来提出这个问题对于JVM,但我必须编辑Importer以提高System::setProperty的限制.我试过了xmllintxmllint--stream--loaddtd--encodeutf8--outputdblp.utf8.xmldblp-2018-07-01.

xml - 打开大型 xml 文件时 Eclipse galileo 挂起

我有EclipseGalileoBuildid:20100218-1602。我面临的问题是:对于一些行小于12K(大约)的XML文件,打开时没有任何问题但我有几个文件有17K行,磁盘上的大小只有550KB,一个文件struts-config只有1600行,文件大小为115KB:当我尝试打开这2个时,花了将近15到20分钟才打开。任何建议都将不胜感激,以便它可以像任何普通文件一样打开。(同一行的Java文件或js文件打开没有任何问题)谢谢 最佳答案 bug108806表明它与格式化性能有关,它今天仍然存在(bug213302,对于真正

xml - 声明式查询大型 XML 文件/流

这里是在黑暗中拍摄的,但是是否有任何库或工具可用于声明式查询大型(>>内存)XML文件(以流方式)?为了说明我想要做什么:维基百科XML转储看起来像:...AccessibleComputing102331922001-01-21T02:12:21ZRoseParks99*8622202002-02-25T15:43:11ZConversionscriptAutomatedconversion...我想将其转换为CSV,以便我可以导入Postgresql进行进一步分析:revisionid,pageid,username,userid,textsize233192,10,RosePar

android - 加载和查询大型 xml 文件 Android

我正在构建一个Android应用程序,我有一个xml文件作为我的数据源,我加载它以使用XPath进行查询,然后将结果加载到ListView中。当xml文件开始变大(最大10MB)时,问题就出现了。我想这意味着我的内存力可能有问题。我想知道在不损害设备内存或浪费宝贵时间处理数据的情况下加载xml并在文件中进行搜索的最佳方式是什么。这是我加载xml文件的时间:InputStreamisRaw=context.getResources().openRawResource(R.raw.xmlbooksource);_xmlBookSource=newInputSource(isRaw);我在这