草庐IT

超大型

全部标签

xml - 在内存中处理大型 XML 文档

我需要在内存中保存大量XML(很可能会使用OracleCoherence作为分布式缓存)。期望在内存中保存100,000个XML。这些XML相当大-大约。每个250KB。这些XML由其他系统请求-它们只请求与它们相关的XML部分。此外,他们还会要求更改XML的内容。负载将是每分钟大约300个这样的请求,或多或少均匀地分布在检索和更新之间。重要的一点是XML不是结构化的,所以我不会为它们提供XSD,但我有提取和更新XML的算法。我的问题是什么会产生更好的性能:将XML按原样保存在内存中,并通过使用XQuery甚至使用编码过程从中提取所有数据并进行更新,或者将XML转换为对象,在代码中操作

xml - 用于转换大型 XML 文件的内存高效 XSLT

这个问题与arecentanswerby有关michael.hor257k,它又与ananswerby相关迪米特雷·诺瓦切夫。当使用上述答案中的样式表时(来自michael.hor257k),对于大型XML(大约60MB,示例XML如下所示),转换成功进行。当尝试另一个样式表时,它与michael.hor257k的有点不同,目的是将元素(带有子sectPr)和它们的后续兄弟元素(直到下一个带有childsectPr),递归地(即将元素分组到输入XML的深度)。示例输入XML:我试过的样式表:出于好奇,我在转换大约60MB的XML时遇到了OutOfMemoryError。我想知道,我想我

xml - 如何搜索大型 XML 数据集?

我有一个带有XML的DataModule,我需要进行搜索...不幸的是有超过300,000条记录,我无法循环逐条检查。是否可以在不使用数据库的情况下进行查询?还有其他解决方案吗? 最佳答案 XML适用于少量信息,但对于那么大的数据集,关系数据库确实是唯一明智的选择,especiallyifyouneedtobeabletoqueryit. 关于xml-如何搜索大型XML数据集?,我们在StackOverflow上找到一个类似的问题: https://stack

c# - 转换大型 Xml 文件

我使用这种扩展方法通过xslt转换非常大的xml文件。不幸的是,我在source.ToString()行上遇到了OutOfMemoryException。我意识到一定有更好的方法,我只是不确定那会是什么?publicstaticXElementTransform(thisXElementsource,stringxslPath,XsltArgumentListarguments){vardoc=newXmlDocument();doc.LoadXml(source.ToString());varxsl=newXslCompiledTransform();xsl.Load(xslPath

xml - 在 Adob​​e Flex 中解析大型 XML 文件

我正在开发一个Adob​​eFlex应用程序,它需要解析一个相对较大的XML文件。ATM只有35MB,但在理想情况下,future会变得更大。**编辑:我无法控制XML文件我实际上是将它的内容直接放到SQLITE数据库中,所以我可以使用SimpleXML类将它变成一个对象,然后遍历它,但我担心随着文件变大,这将是一个糟糕的方法.我是偏执狂,还是有更好的方法? 最佳答案 在解析这么大的XML文件时,您肯定会遇到一些性能问题。回到Flex2天,我们将SOAP用于服务,并且有一个数据调用拉回了大约5K条记录,并且FlashPlayer会在

python - 如何在 Python 中拆分大型维基百科转储 .xml.bz2 文件?

我正在尝试使用Python使用维基媒体转储文件(.xml.bz2)构建离线维基词典。我从this开始文章作为指导。它涉及多种语言,我想将所有步骤合并为一个python项目。我已经找到了该过程所需的几乎所有库。现在唯一的难题是有效地将大型.xml.bz2文件拆分为多个较小的文件,以便在搜索操作期间更快地进行解析。我知道python中有bz2库,但它只提供压缩和解压操作。但我需要一些可以做类似bz2recover的东西从命令行执行,它将大文件分成许多较小的垃圾。更重要的一点是拆分不应该拆分以开头的页面内容结束在压缩后的xml文档中。是否有以前可用的库可以处理这种情况,或者代码必须从头开始编

xml - 我应该如何在 Perl 中解析大型 XML 文件?

像下面的代码那样读取XML数据是否会在内存中创建DOM树?my$xml=newXML::Simple;my$data=$xml->XMLin($blast_output,ForceArray=>1);对于大型XML文件,我应该使用SAX解析器,带有处理程序等? 最佳答案 对于大型XML文件,如果文档适合内存,您可以在DOM模式下使用XML::LibXML,或者使用拉模式(参见XML::LibXML::Reader)或XML::Twig(我写的,所以我有偏见,但它通常适用于太大而无法放入内存的文件)。我不是SAX的粉丝,它很难用而且实

xml - 从大型 Clojure 树结构中的惰性序列中删除元素,避免头部保留

问题描述对于在Clojure中处理大型数据结构,惰性序列提供了一种很好的惯用方法。需要小心避免头部不过,保留。我很难像这样处理大型树结构:RRoot__________|____________________ABC,D,E,...1stLevelChildren_______|______________|_______XYY...YXYXYY...YXY2ndLevelChildren所有节点都是带有键:content的映射。任何:content的值都是一个惰性序列,其中包含该节点的所有子节点。整棵树不适合内存。第2层的Y项目太多。不包括Y项的整个树都适合内存。处理完这棵树后,我想

java - 如何提高 Java 中针对 xsd 的大型 xml 验证速度?

我正在尝试针对XSD验证非常XML(~200MB)。这需要将近3个小时。我不确定我在这里做错了什么?SchemaFactorysf=SchemaFactory.newInstance(W3C_XML_SCHEMA_NS_URI);Schemaschema=sf.newSchema(newFile(this.productExtraInfoXsd));DocumentBuilderFactorydomFactory=DocumentBuilderFactory.newInstance();domFactory.setNamespaceAware(true);DocumentBuilder

java - 处理大型 xml 文件

我有一个包含许多子元素的大型xml文件。我希望能够运行一些xpath查询。我尝试在java中使用vtd-xml,但有时会出现内存不足错误,因为xml太大而无法放入内存。有没有其他方法可以处理如此大的xml。 最佳答案 尝试http://code.google.com/p/jlibs/wiki/XMLDog它使用sax执行xpaths,而不创建xml文档的内存表示。 关于java-处理大型xml文件,我们在StackOverflow上找到一个类似的问题: htt