我有一批大约 13,000 个 XML 文件(并且可能每天增长数百个)，我需要使用 LINQ 过滤和将数据转换为我需要的数据进行处理，并将七种可能的事件类型中的每一种聚合到一个单一的事件类型文件(见下文)。因此，13k 个文件分成 7 个文件。 XML 中对事件类型进行了很好的描述，因此过滤和聚合相对容易。然后，这些聚合文件将用于使用我已经编写的脚本为我们的数据库创建一个 MySQL 插入语句，该脚本也运行良好。

我有功能代码，它正在处理文件，但到目前为止它已经运行了 23 多个小时，看起来它可能只完成了大约一半(？)。我忘了放入一个文件计数器，所以我真的不知道，我也不愿意重新启动它。我可以根据原始文件的大小(360mb 左右)与处理后的文件大小(180mb 左右)来进行有根据的猜测。在我们放弃这种数据收集方法(使用 XML 文件作为数据库)并过渡到只使用 MySQL 之前，我预计可能需要运行大约六次，所以我希望我能找到一种更有效的方法来处理文件。如果不必要的话，我真的不想每次执行可能花费 2 天以上的时间。

它在我的机器上本地运行，但只能在 1 HD(我认为是 10k RPM Barracuda)上运行。从一个驱动器读取和写入单独的驱动器可能会更快吗？我很确定我的瓶颈是由文件 IO 引起的，我正在打开和关闭文件数千次。也许我可以重构为只打开一次阅读并在内存中做所有事情？我知道那样会更快，但如果出现问题，我可能会丢失整个文件的数据。我仍然需要打开 13k 文件中的每一个来读取它们、处理它们并将它们写入 XElement。

这是我正在运行的代码。我正在使用 LINQPad 并将代码作为 C# 语句运行，但如有必要，我可以将其转换为真正的可执行文件。 LINQPad 对于这样的原型(prototype)制作非常方便!请让我知道 XML 的示例是否会使这更容易理解，但乍一看它似乎并不相关。文件大小从 2k 到 285k 不等，但只有 300 个左右超过 100k，大多数在 25 - 50k 范围内。

string sourceDir = @"C:\splitXML\results\XML\";//source for the 13k files
string xmlDestDir = @"C:\results\XMLSorted\";//destination for the resultant 7 files
List<string> sourceList = new List<string>();
sourceList = Directory.EnumerateFiles(sourceDir, "*.xml", SearchOption.AllDirectories).ToList();
string destFile = null;
string[] events = { "Creation", "Assignment", "Modification", "Repair", "RepairReview", "Termination", "Test" };
foreach(string eventItem in events)
{
try
{
        //this should only happen once the first time through and 
        //shouldn't be a continuing problem
        destFile = Path.Combine(xmlDestDir, eventItem + "Uber.xml");
    if (!File.Exists(destFile))
    {
        XmlTextWriter writer = new XmlTextWriter( destFile, null );
        writer.WriteStartElement( "PCBDatabase" );
        writer.WriteEndElement();
        writer.Close();
    }
}
catch(Exception ex)
{
    Console.WriteLine(ex);
}
}

foreach(var file in sourceList) //roughly 13k files
{
    XDocument xd = XDocument.Load(file);    
    var actionEvents =
        from e in xd.Descendants("PCBDatabase").Elements()
    select e;
foreach(XElement actionEvent in actionEvents)
{
    //this is where I think it's bogging down, it's constant file IO
        var eventName =
    from e in actionEvents.Elements()
    select e.Name;
    var eventType = eventName.First();
    destFile = Path.Combine(xmlDestDir, eventType + "Uber.xml");
        //another bottle neck opening each file thousands of times
    XElement xeDoc = XElement.Load(destFile);
    xeDoc.Add(actionEvent);
        //and last bottle neck, closing each file thousands of times
        xeDoc.Save(destFile);
    }
}

最佳答案

您花费了大量时间重新打开 xml 文件并将它们解析为 XDocument 对象。由于这些 Uber 文件将非常大，您要做的是打开它们一次并以仅向前的方式写入。下面的代码是您将如何处理的示例。我还将 eventType 移出内部循环(因为它不依赖于内部循环变量)。

请注意，此示例每次都会从头开始重新创建 Uber 文件。如果那不是你要做的，我建议不要将它们读入 XDocument 而是使用下面的代码创建“临时”文件，然后使用两个 XmlReader 实例读取文件并将内容与 XmlWriter 合并。

using System.IO;
using System.Xml;
using System.Xml.Linq;
using System.Linq;

public static void Main(string[] args)
{
    string sourceDir = @"C:\splitXML\results\XML\";
    string xmlDestDir = @"C:\results\XMLSorted\";
    string[] events = { "Creation", "Assignment", "Modification", "Repair", "RepairReview", "Termination", "Test" };
    Dictionary<string, XmlWriter> writers = events.ToDictionary(e => e, e => XmlWriter.Create(Path.Combine(xmlDestDir, e + "Uber.xml")));

    foreach(var writer in writers.Values)
    {
        writer.WriteStartDocument();
        writer.WriteStartElement("PCBDatabase");
    }

    foreach(var file in Directory.EnumerateFiles(sourceDir, "*.xml", SearchOption.AllDirectories)) //roughly 13k files
    {
        XDocument xd = XDocument.Load(file);    
        var actionEvents = from e in xd.Descendants("PCBDatabase").Elements() select e;
        string eventType = (from e in actionEvents.Elements() select e.Name.ToString()).First();

        foreach(XElement actionEvent in actionEvents)
        {
            actionEvent.WriteTo(writers[eventType]);
        }    
    }

    foreach(var writer in writers.Values)
    {
        writer.WriteEndElement();
        writer.WriteEndDocument();
        writer.Close();
    }            
}

关于c# - 使用大量小 XML 文件使 LINQ 的文件 IO 更高效？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18469084/