草庐IT

linux - 将 1 到 1000 万的整数列表写入文件时如何获得良好的性能？

coder 2023-06-18 原文

题

我想要一个程序来编写一个序列，例如，

1
...
10000000

到一个文件。可以编写并获得不错性能的最简单代码是什么？我的直觉是存在一些缺乏缓冲的问题。我的 C 代码运行速度为 100 MB/s，而引用 Linux 命令行实用程序 dd以 9 GB/s 3 GB/s 的速度运行(抱歉不精确，请参阅评论——不过，我对大图片数量级更感兴趣)。

有人会认为现在这将是一个已解决的问题……即任何现代编译器都会立即编写出性能相当好的程序……

代码
#include <stdio.h>

int main(int argc, char **argv) {
    int len = 10000000;
    for (int a = 1; a <= len; a++) {
        printf ("%d\n", a);
    }
    return 0;
}

我正在编译 clang -O3 .调用putchar('\n')的性能骨架8 次获得可比的性能。

haskell 代码

一个天真的 Haskell 实现以 13 MiB/秒的速度运行，编译时使用 ghc -O2 -optc-O3 -optc-ffast-math -fllvm -fforce-recomp -funbox-strict-fields . (我还没有用 -fllvm 重新编译我的库，也许我需要这样做。)代码:
import Control.Monad
main = forM [1..10000000 :: Int] $ \j -> putStrLn (show j)

我最好的 Haskell 测试运行得更慢，为 17 MiB/秒。问题是我找不到转换 Vector 的好方法进入 ByteString 's(也许有一个使用 iteratees 的解决方案？)。
import qualified Data.Vector.Unboxed as V
import Data.Vector.Unboxed (Vector, Unbox, (!))

writeVector :: (Unbox a, Show a) => Vector a -> IO ()
writeVector v = V.mapM_ (System.IO.putStrLn . show) v

main = writeVector (V.generate 10000000 id)

好像在写ByteString的很快 ，如这段代码所示，写出等量的字符，
import Data.ByteString.Char8 as B
main = B.putStrLn (B.replicate 76000000 '\n')

这得到 1.3 GB/s，不如 dd 快，但显然要好得多。

最佳答案

首先是一些完全不科学的基准测试:

所有程序都使用默认优化级别(gcc -O3，GHC -O2)编译并运行

time ./prog > outfile

作为基准，C 程序需要 1.07 秒来生成一个 ~76MB(78888897 字节)的文件，大约 70MB/s 的吞吐量。
  • “天真的”Haskell 程序 (forM [1 .. 10000000] $ \j -> putStrLn (show j)) 耗时 8.64 秒，大约 8.8MB/秒。
  • 同样用forM_代替forM耗时5.64s，约13.5MB/s。
  • dflemstr 回答中的 ByteString 版本耗时 9.13s，大约 8.3MB/s。
  • dflemstr 回答中的 Text 版本耗时 5.64s，大约 13.5MB/s。
  • 问题中的 Vector 版本耗时 5.54s，大约 13.7MB/s。
  • main = mapM_ (C.putStrLn . C.pack . show) $ [1 :: Int .. 10000000] ，其中 C 是 Data.ByteString.Char8 ，耗时 4.25s，大约 17.9MB/s。
  • putStr . unlines . map show $ [1 :: Int .. 10000000] 耗时 3.06s，大约 24.8MB/s。
  • 手动循环，
    main = putStr $ go 1
  where
    go :: Int -> String
    go i
        | i > 10000000 = ""
        | otherwise = shows i . showChar '\n' $ go (i+1)

    花了 2.32s，大约 32.75MB/s。
  • main = putStrLn $ replicate 78888896 'a' 耗时 1.15s，大约 66MB/s。
  • main = C.putStrLn $ C.replicate 78888896 'a' 其中 C 是 Data.ByteString.Char8 ，耗时 0.143s，大约 530MB/s，与惰性 ByteString 的数字大致相同。

    • 我们可以从中学到什么？

    首先，除非你真的想收集结果，否则不要使用 forM 或 mapM。性能方面，这很糟糕。

    然后，ByteString 输出可以非常快(10.)，但是如果 ByteString 输出的构造很慢(3.)，你最终得到的代码比简单的 String 输出慢。

    3. 有什么可怕的？嗯，所有涉及的 String 都很短。所以你得到一个列表
    Chunk "1234567" Empty

    并且在任何两个这样的之间，放置一个 Chunk "\n" Empty ，然后将结果列表连接起来，这意味着所有这些 Empty 在构建 ... (Chunk "1234567" (Chunk "\n" (Chunk "1234568" (...)))) 时都会被丢弃。这是很多浪费的构造-解构-重建。与 Text 和固定的“naive” String 版本相当的速度可以通过 pack 对严格的 ByteString s 并使用 fromChunks (和 Data.List.intersperse 用于换行)来实现。更好的性能，略好于 6.，可以通过消除昂贵的单例来获得。如果您将换行符粘贴到 String s，使用 \k -> shows k "\n" 而不是 show ，则连接必须处理一半的略长 ByteString s，这是值得的。

    我对 text 或 vector 的内部结构不够熟悉，无法提供关于观察到的性能原因的半受过教育的猜测，所以我将把它们排除在外。可以说与固定的 naive String 版本相比，性能增益充其量只是微不足道的。

    现在，6. 表明 ByteString 输出比 String 输出快，足以在这种情况下 pack ing 的额外工作得到补偿。但是，不要被这种想法所迷惑，相信它总是如此。如果要打包的 String 很长，则打包可能比 String 输出花费更多的时间。

    但是千万次调用 putStrLn ，无论是 String 还是 ByteString 版本，都需要很多时间。只获取一次 stdout Handle 并在非 IO 代码中构造输出 String 会更快。 unlines 已经做得很好，但我们仍然受到列表 map show [1 .. 10^7] 的构建的影响。不幸的是，编译器没有设法消除它(但它消除了 [1 .. 10^7] ，这已经很好了)。所以我们自己来做，导致8。那不是太可怕，但仍然是C程序的两倍多。

    可以通过低级直接填充 ByteString 来制作更快的 Haskell 程序，而无需通过 String 进行 show ，但我不知道 C 速度是否可以达到。无论如何，那个低级代码不是很漂亮，所以我会保留我所拥有的，但有时如果速度很重要，人们必须弄脏自己的手。

    关于linux - 将 1 到 1000 万的整数列表写入文件时如何获得良好的性能？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10080273/

    良好linuxcodeByteStringbrperformancehaskell

    有关linux - 将 1 到 1000 万的整数列表写入文件时如何获得良好的性能？的更多相关文章

    1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

      我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

    2. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

      总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

    3. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

      我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

    4. ruby - 其他文件中的 Rake 任务 - 2

      我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

    5. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

      我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

    6. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

      关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

    7. ruby-on-rails - Rails 3 中的多个路由文件 - 2

      Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

    8. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

      给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

    9. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

      我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

    10. ruby - 将差异补丁应用于字符串/文件 - 2

      对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

    随机推荐