草庐IT

io_stream

全部标签

c# - 使用大量小 XML 文件使 LINQ 的文件 IO 更高效?

我有一批大约13,000个XML文件(并且可能每天增长数百个),我需要使用LINQ过滤和将数据转换为我需要的数据进行处理,并将七种可能的事件类型中的每一种聚合到一个单一的事件类型文件(见下文)。因此,13k个文件分成7个文件。XML中对事件类型进行了很好的描述,因此过滤和聚合相对容易。然后,这些聚合文件将用于使用我已经编写的脚本为我们的数据库创建一个MySQL插入语句,该脚本也运行良好。我有功能代码,它正在处理文件,但到目前为止它已经运行了23多个小时,看起来它可能只完成了大约一半(?)。我忘了放入一个文件计数器,所以我真的不知道,我也不愿意重新启动它。我可以根据原始文件的大小(360

java - 如何将大型 XML 文件转换为 stream-like-java 8 对象

你好,我有一个(非常)大的XML文件(100GB),其中包含一个foo列表,我想将它转换成一个流,就像它们引入对象的java8一样:有关于库或代码示例的想法吗?开头:......最后:StreamfoosStream=????("foo.xml")streamFoos.forEach(foo->foo.doFooStuffs());编辑:@Pierre谢谢,这是您的解决方案的实现:try{XMLEventReaderreader=XMLInputFactory.newInstance().createXMLEventReader(stream);finalUnmarshallerunm

c# - 在 C# 中,为什么我不能将 StringReader 传递给带有 Stream 参数的方法?

在.net4和C#中。我已经实现了一个静态方法来将XML流反序列化为一个对象。这只是进入一个对象的一种xml格式,所以我不想用它做任何花哨的事情。由于我可以通过多种方式获取此XML内容,我想我应该将传递给静态方法的参数设为Stream对象。我原以为它会接受从基类Stream派生的任何对象——例如FileStream、MemoryStream、StringReader等。当我向它传递一个FileStream对象时,它工作正常,但当我向它传递一个StringReader时,它工作正常。我的静态方法:publicstaticMatchObjDeserializeMatch(StreamsrX

java - 从 OMElement 对象获取 InputStream/io.Reader

我有一个OMElement对象,我想从中获取一个InputStream或reader对象。我想要的是从我拥有的OMElement流式传输xml,而不加载到内存中。我只能从中获取XMLStreamReader对象。但是我找不到从中获取InputStream/Reader的方法。OMElementelement/*Ihavethisobject*/XMLStreamReaderxmlreader=element.getXMLStreamReaderWithoutCaching();谁能帮帮我?非常感谢!谢谢PS:我找到了一种获取InputStream的方法,但它给出了一个异常,我需要帮助来

Java - XML 解析器性能 : Sun Java Streaming XML Parser (SJSXP) vs Woodstox

我正在寻找最新的、内存高效和高性能的JavaXML解析API。我需要解析3MB到5MB的XML文件。我对此进行了谷歌搜索,了解到SunJavaStreamingXMLParser(SJSXP)和Woodstox比DOM和SAX快得多。两者都使用StAXAPI。*这些技术不支持模式验证。AaltoXML处理器也实现了StAXAPI。我还没有找到关于这些技术性能的具体发现。哪一个在内存效率、高性能和易用性方面最好? 最佳答案 这里还有一些可能相关的链接:数据绑定(bind)的Stax实现:http://technotes.blogs.s

c# - 如何使用 System.IO.Stream 和 LINQ 读取 XML 文件

我将像这样传递xml文件:File1.PostedFile.InputStream//readingxmlfile.....publicstaticvoidreadXMLOutput(Streamstream){System.Xml.Linq.XDocumentxml=System.Xml.Linq.XDocument.Load(stream);varquery=frompinxml.Element("ste").Element("Application")//where(int)p.Element("Id")==1selectPage;foreach(varrecordinquery

xml - 执行失败 : java. io.IOException:无法运行程序 "jarsigner.exe":CreateProcess

我正在尝试使用ANT运行buildXXX.xml文件,但出现此错误:Buildfile:C:\Users\Amira\Desktop\SaloméTMF\SalomeTMFV3.1SourceCode\buildSOAPClient.xmlinit:prepare:compile:makesoapjar:makeihmjar:makecorejar:makedatajar:makeapijar:makeloginjar:maketoolsjar:makeplugintoolsjar:makeUpdatejar:makebootjar:makecodexjar:makejar:signj

iphone - iOS XML 编写器类

我想创建一个使用关卡系统的游戏。所以我想存储我的关卡并能够在游戏过程中更改它们(以保存状态)。所以我决定使用XML来存储级别。我找到了用于从XML中读取的NSXmlParser类,但是我找不到一个writer来保存关卡状态。在我的游戏中,关卡状态和关卡非常相似(我有很多可移动的物体),所以我不想将关卡状态数据与其所属的关卡分开存储。问题是我找不到在iPhone上轻松修改XML文件的方法。也许我使用了一种糟糕的方法。 最佳答案 如果您将数据放入NSDictionary,您可以这样做(注意事项):[myDictionarywriteTo

windows - IO.popen(my_cmd) - 子进程何时完成?

pipe=IO.popen("my_cmd2>&0")while???line=pipe.getsputslineifsome_conditionend这是在Windows上使用Ruby1.8.7。my_cmd是一个将数据库记录打印到标准输出的应用程序。每条数据库记录一行,在我运行命令之前无法知道会有多少条记录。每个gets调用返回一条记录。每个gets调用也可能需要一段时间。它通过网络连接到一个非常大的数据库,因此获取调用不会是即时的。我正在很好地处理输入。问题是,循环永远不会结束。my_cmd在到达数据库末尾时终止。我的Ruby脚本如何知道my_cmd何时完成????在我上面发布的

c++ - 取消WIN32线程池中计划的work/io/timer项

我一直在研究Windows的(新的?)线程池API。我一直在关注UsingtheThreadPoolFunctions中的示例我一直在仔细研究MSDN上的API。关于清理组,我有些不明白。调用SetThreadpoolCallbackCleanupGroup()时,第三个参数描述为Thecleanupcallbacktobecalledifthecleanupgroupiscanceledbeforetheassociatedobjectisreleased.ThefunctioniscalledwhenyoucallCloseThreadpoolCleanupGroupMembers