草庐IT

c# - 在 C# 中处理非常大的 XML 文件

coder 2024-06-24 原文

我有一个 2.8GB 的​​非常大的 XML 文件。这是波兰维基百科的文章转储。这个文件的大小对我来说是个大问题。任务是搜索此文件以获取大量数据。我所拥有的只是文章的标题。我想我可以对这些标题进行排序，并在整个文件中使用一个线性循环。想法还不错，但是文章没有按字母顺序排序。它们按 ID 排序，我不知道 a priori。

因此，我的第二个想法是为该文件创建一个索引。以下列格式存储在其他文件(或数据库)行中:title;id;index(可能没有 ID)。我的另一个问题是我寻求帮助。假设是，如果我有所需标签的索引，我可以只使用简单的 Seek 方法在文件中移动光标，而无需读取所有内容等。对于较小的文件，我认为这可以正常工作。但是在我的电脑(笔记本电脑、C2D proc、Win7、VS2008)上，我收到应用程序没有响应的错误。

在我的程序中，我从文件中读取每一行并检查它是否包含我需要的标记。我也在计算我读取的所有字节并以上述格式保存行。因此，当索引程序挂起时。但到目前为止，结果索引文件为 36.2MB，最后一个索引为 2,872,765,202 (B)，而整个 XML 文件的长度为 3,085,439,630 B。

我的第三个想法是将文件拆分成更小的部分。准确地说是 26 个部分(拉丁语有 26 个字母)，每个部分仅包含以相同字母开头的条目，例如在 a.xml 中，标题以“A”字母开头的所有条目。最终文件可能有数十 MB，我认为最大约为 200 MB。但是读取整个文件也有同样的问题。

要读取文件，我使用的可能是最快的方法:使用 StreamReader。我在某处读到，System.Xml 中的 StreamReader 和 XmlReader 类是最快的方法。 StreamReader 比 XmlReader 更快。很明显，我无法将所有这些文件加载​​到内存中。我只安装了 3GB 的 RAM，而 Win7 满载时大约需要 800MB-1GB。

所以我寻求帮助。做什么最好。关键是搜索这个 XML 文件必须很快。必须比下载 HTML 格式的单个维基百科页面更快。我什至不确定这是否可能。

也许将所有需要的内容加载到数据库中？也许那样会更快？但我仍然需要至少阅读整个文件一次。

我不确定 1 个问题的长度是否有一些限制，但我也会在这里放一个我的索引源代码示例。

while (reading)
{
    if (!reader.EndOfStream)
    {
        line = reader.ReadLine();
        fileIndex += enc.GetByteCount(line) + 2; //+2 - to cover characters \r\n not included into line
        position = 0;
    }
    else
    {
        reading = false;
        continue;
    }

    if (currentArea == Area.nothing)    //nothing interesting at the moment
    {
         //search for position of <title> tag
         position = MoveAfter("&lt;title>", line, position);    //searches until it finds &lt;title> tag
         if (position >= 0) currentArea = Area.title;
         else continue;
    }

    (...)

    if (currentArea == Area.text)
    {
         position = MoveAfter("&lt;text", line, position);
         if (position >= 0)
         {
              long index = fileIndex;
              index -= line.Length;
              WriteIndex(currentTitle, currentId, index);
              currentArea = Area.nothing;
         }
         else continue;
     }
 }

 reader.Close();
 reader.Dispose();
 writer.Close();
 }

 private void WriteIndex(string title, string id, long index)
 {
     writer.WriteLine(title + ";" + id + ";" + index.ToString());
 }

提前致以最诚挚的问候和感谢，

文图斯

编辑:链接到此 Wiki 的转储 http://download.wikimedia.org/plwiki/20100629/

最佳答案

嗯....如果你要搜索它，我强烈建议你找到一个比处理文件本身更好的方法。正如您提到的那样，我建议将其放入规范化和索引良好的数据库中并在那里进行搜索。您所做的任何其他事情都将有效地准确复制数据库的功能。

然而，这样做需要时间。 XmlTextReader可能是你最好的选择，它一次只工作一个节点。 LINQ to XML 也应该是一个相当有效的处理，但我还没有用大文件尝试过，所以不能发表评论。

请问:这个庞大的XML文件是从哪里来的？也许有一种方法可以从源头上处理这种情况，而不是在必须处理一个 3 GB 的文件之前。

关于c# - 在 C# 中处理非常大的 XML 文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3337953/

c#codepositionsectionxml

有关c# - 在 C# 中处理非常大的 XML 文件的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  4. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  5. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  6. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  7. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  8. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  9. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据，就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理？我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题；这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML，但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中，将我的XML代码修改为

  10. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

随机推荐