草庐IT

c# - 通过 2TB 文件的文件偏移量随机读取许多 300 字节 block 的最快方法？

coder 2024-05-25 原文

我在 RAID 5 (4 x 7.2k @ 3TB) 系统上有一些 2TB 只读(创建后不可写入)文件。

现在我有一些线程想要读取该文件的部分内容。 每个线程都有一个它需要的 block 数组。 每个 block 都由要读取的文件偏移量(位置)和大小(通常约为 300 字节)寻址。

读取这些数据最快的方法是什么。 我不关心 CPU 周期，(磁盘)延迟才是最重要的。 因此，如果可能的话，我想利用硬盘的 NCQ。

由于文件是高度压缩的并且会随机访问，而且我知道确切的位置，所以我没有其他方法可以优化它。

  • 我应该将文件读取集中到一个线程吗？
  • 我应该让文件保持打开状态吗？
  • 如果每个线程(可能大约 30 个)都同时打开每个文件，那么(来自网络服务器的)新线程怎么办？
  • 如果我等待 100 毫秒并按文件偏移量对读数进行排序(从小到大)，会有帮助吗？

读取数据的最佳方式是什么？您有经验、技巧、提示吗？

最佳答案

并行请求的最佳数量在很大程度上取决于您的应用程序之外的因素(例如磁盘计数=4、NCQ 深度=？、驱动程序队列深度=？...)，因此您可能希望使用一个能够适应的系统或被改编。我的建议是:

  • 将所有读取请求连同一些允许通知请求线程的元数据一起写入队列
  • 让 N 个线程从该队列中出队，同步读取 block ，通知请求线程
  • 使 N 运行时可变
  • 由于 CPU 不是您关心的问题，您的工作线程可以计算 float 延迟平均值(和/或最大值，具体取决于您的需要)
  • 上下滑动 N，直到达到最佳点

为什么要同步读取？它们的延迟低于异步读取。 为什么要在队列上浪费延迟？一个好的无锁队列实现从小于 10ns 的延迟开始，远小于两次线程切换

更新:一些问答

读取线程是否应该保持文件打开？ 是的，绝对如此。

您会使用带有 FileOptions.RandomAccess 的 FileStream 吗？ 是

你写“同步读取 block ”。这是否意味着每个读取线程都应该在将读取 block 的命令出列后立即开始从磁盘读取 block ？ 是的，我就是这个意思。读取请求的队列深度由线程数管理。

关于c# - 通过 2TB 文件的文件偏移量随机读取许多 300 字节 block 的最快方法？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8897799/

c#偏移sectionstrongli.netfile-iobinary-data

有关c# - 通过 2TB 文件的文件偏移量随机读取许多 300 字节 block 的最快方法？的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  4. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  5. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  6. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  7. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  8. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码，如下所示:Something.createdo|x|x.foo=barend我想编写一个测试，它使用double代替block参数x，这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗？ 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  9. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

  10. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件，并创建一个临时验证的url以发送给同事。(理想情况下，这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针，它似乎不符合这个标准，但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

随机推荐