草庐IT

c# - 在 C# 中优化 XML

coder 2024-06-26 原文

背景

我们有一个从 .NET 1.1 开始的项目，转移到 .NET 2.0，最近又转移到 .NET 3.5。该项目是高度数据驱动的，并且将 XML 用于其许多数据文件。其中一些 XML 文件非常大，我想借此机会改进应用程序与它们的交互。如果可能的话，我想避免必须始终将它们完全保存在内存中，但另一方面，我想快速访问它们的数据。

当前设置使用 XmlDocument和 XPathDocument (取决于它是什么时候写的，由谁写的)。首次请求时会查找数据并将其缓存在内部数据结构中(而不是 XML，后者在大多数情况下会占用更多内存)。在过去，这是一个很好的模型，因为它具有快速访问时间和低内存占用(或者至少，令人满意的内存占用)。然而，现在有一个功能可以一次性查询大部分信息，而不是我们以前的很好地分散请求。这导致 XML 加载、验证和解析成为明显的性能瓶颈。

问题

给定一个大的 XML 文件，在内存中没有 XML 的情况下，重复查询其内容(例如“id=B 的元素 A 是否存在？”)的最有效和最灵敏的方法是什么？

请注意，数据本身可以在内存中，如果我们可以帮助的话，只是不要以其更加臃肿的 XML 形式存在。在最坏的情况下，我们可以接受将单个文件加载到内存中进行解析，然后再次卸载以释放资源，但我希望尽可能避免这种情况。

考虑到我们已经尽可能地缓存数据，这个问题也可以理解为“哪个更快并且使用更少的内存；XmlDocument、XPathDocument、基于XmlReader 或XDocument 的解析/LINQ-to-XML ？”

编辑:更简单的是，我们可以随机访问磁盘上的 XML 而不是一次读取整个文件吗？

例子

一个 XML 文件有一些记录: 
<MyXml>
  <Record id='1'/>
  <Record id='2'/>
  <Record id='3'/>
</MyXml>

我们的用户界面想知道是否存在 ID 为 3 的记录。如果可以的话，我们希望无需解析和加载文件中的每条记录即可找到答案。因此，如果它在我们的缓存中，则没有 XML 交互，如果不在，我们可以将该记录加载到缓存中并响应请求。

目标

拥有一种可扩展、快速的查询和缓存 XML 数据文件的方法，以便我们的用户界面能够响应，而无需诉诸多线程或将整个 XML 文件长期保留在内存中。

我意识到某个地方可能有关于此的博客或 MSDN 文章，我将在发布此问题后继续使用 Google，但如果有人有一些可能有用的数据，或者一些何时采用某种方法的示例比另一个更好或更快，那就太好了。

更新
The XMLTeam published a blog today它就何时在 .NET 中使用各种 XML API 提供了很好的建议。看起来基于 XmlReader 和 IEnumerable 的东西将是我在此处给出的场景的最佳选择。

最佳答案

对于 XML 我只知道两种方式

XMLReader -> 将大型 XML 数据流式传输到 或者使用 XML DOM 对象模型并立即将整个 XML 读入内存。

如果 XML 很大，我们有 80 MB 及以上的 XML 文件，将 XML 读入内存会影响性能。没有真正的方法来“合并”这两种处理 XML 文档的方法。对不起。

关于c# - 在 C# 中优化 XML，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/893875/

c#XMLcodenoreferrer.net-3.5linq-to-xml

有关c# - 在 C# 中优化 XML的更多相关文章

  1. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据，就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理？我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题；这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML，但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中，将我的XML代码修改为

  2. c# - 如何在 ruby​​ 中调用 C# dll？ - 2

    如何在ruby​​中调用C#dll？ 最佳答案 我能想到几种可能性:为您的DLL编写(或找人编写)一个COM包装器，如果它还没有，则使用Ruby的WIN32OLE库来调用它；看看RubyCLR,其中一位作者是JohnLam，他继续在Microsoft从事IronRuby方面的工作。(估计不会再维护了，可能不支持.Net2.0以上的版本)；正如其他地方已经提到的，看看使用IronRuby，如果这是您的技术选择。有一个主题是here.请注意，最后一篇文章实际上来自JohnLam(看起来像是2009年3月)，他似乎很自在地断言RubyCL

  3. C# 到 Ruby sha1 base64 编码 - 2

    我正在尝试在Ruby中复制Convert.ToBase64String()行为。这是我的C#代码:varsha1=newSHA1CryptoServiceProvider();varpasswordBytes=Encoding.UTF8.GetBytes("password");varpasswordHash=sha1.ComputeHash(passwordBytes);returnConvert.ToBase64String(passwordHash);//returns"W6ph5Mm5Pz8GgiULbPgzG37mj9g="当我在Ruby中尝试同样的事情时，我得到了相同sha

  4. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  5. ruby-on-rails - 如何在 Rails 3 中禁用 XML 解析 - 2

    我想禁用HTTP参数的自动XML解析。但我发现命令仅适用于Rails2.x，它们都不适用于3.0:config.action_controller.param_parsers.deleteMime::XML(application.rb)ActionController::Base.param_parsers.deleteMime::XMLRails3.0中的等价物是什么？ 最佳答案 根据CVE-2013-0156的最新安全公告你可以将它用于Rails3.0。3.1和3.2ActionDispatch::ParamsParser::

  6. c# - C# 中的 Flatten Ruby 方法 - 2

    我如何做Ruby方法"Flatten"RubyMethod在C#中。此方法将锯齿状数组展平为一维数组。例如:s=[1,2,3]#=>[1,2,3]t=[4,5,6,[7,8]]#=>[4,5,6,[7,8]]a=[s,t,9,10]#=>[[1,2,3],[4,5,6,[7,8]],9,10]a.flatten#=>[1,2,3,4,5,6,7,8,9,10 最佳答案 递归解决方案:IEnumerableFlatten(IEnumerablearray){foreach(variteminarray){if(itemisIEnume

  7. ruby - 可以像在 C# 中使用#region 一样在 Ruby 中使用 begin/end 吗？ - 2

    我最近从C#转向了Ruby，我发现自己无法制作可折叠的标记代码区域。我只是想到做这种事情应该没问题:classExamplebegin#agroupofmethodsdefmethod1..enddefmethod2..endenddefmethod3..endend...但是这样做真的可以吗？method1和method2最终与method3是同一种东西吗？还是有一些我还没有见过的用于执行此操作的Ruby惯用语？ 最佳答案 正如其他人所说，这不会改变方法定义。但是，如果要标记方法组，为什么不使用Ruby语义来标记它们呢？您可以使用

  8. c# - Ruby 等效于 C# Linq 聚合方法 - 2

    什么是Linq聚合方法的ruby​​等价物。它的工作原理是这样的varfactorial=new[]{1,2,3,4,5}.Aggregate((acc,i)=>acc*i);每次将数组序列中的值传递给lambda时，变量acc都会累积。 最佳答案 这在数学以及几乎所有编程语言中通常称为折叠。它是更普遍的变形概念的一个实例。Ruby从Smalltalk中继承了这个特性的名称，它被称为inject:into:(像aCollectioninject:aStartValueinto:aBlock一样使用。)所以，在Ruby中，它称为inj

  9. ruby - 如何使用 Nokogiri::XML::Builder 生成动态标签？ - 2

    我正在遍历数组中的一组标签名称，我想使用构建器打印每个标签名称，而不是求助于“我认为:builder=Nokogiri::XML::Builder.newdo|xml|fortagintagsxml.tag!tag,somevalendend会这样做，但它只是创建名称为“tag”的标签，并将标签变量作为元素的文本值。有人可以帮忙吗？这个看起来应该比较简单，我刚刚在搜索引擎上找不到答案。我可能没有以正确的方式提问。 最佳答案 尝试以下操作。如果我没记错的话，我添加了一个根节点，因为Nokogiri需要一个。builder=Nokogi

  10. ruby - 如何让 Nokogiri 解析并返回 XML 文档？ - 2

    这是一些奇怪的例子:#!/usr/bin/rubyrequire'rubygems'require'open-uri'require'nokogiri'print"withoutread:",Nokogiri(open('http://weblog.rubyonrails.org/')).class,"\n"print"withread:",Nokogiri(open('http://weblog.rubyonrails.org/').read).class,"\n"运行此返回:withoutread:Nokogiri::XML::Documentwithread:Nokogiri::

随机推荐