我已经在一个相当大的 C++ 项目上工作了几个星期。我最初的目标是使用这个项目来了解 C++11，并且只使用纯 C++ 代码，避免手动分配和 C 构造。但是，我认为这个问题将迫使我将 C 用于一个小功能，我想知道为什么。
基本上我有一个保存功能，它会在我对其中的数据进行更改之前将一个较大的二进制文件复制到一个单独的位置。文件本身是最大大小约为 700MB 的 CD 镜像。这是我使用的原始 C++ 代码:
std::ios::sync_with_stdio(false);
std::ifstream in(infile, std::ios::binary);
std::ofstream out(outfile, std::ios::binary);
std::copy(std::istreambuf_iterator<char>(in), std::istreambuf_iterator<char>(), std::ostreambuf_iterator<char>(out));
out.close();
in.close();
此代码与 690MB 文件一起使用时只需不到 4 分钟即可完成。我用多个文件运行过它，结果总是一样的； 3分钟内什么都没有。但是，我还发现了以下方式，它运行得更快一些，但仍然没有 C 快:
std::ios::sync_with_stdio(false);
std::ifstream in(infile, std::ios::binary);
std::ofstream out(outfile, std::ios::binary);
out << in.rdbuf();
out.close();
in.close();
这个耗时 24 秒，但仍然比 C 慢 20 倍左右。
环顾四周后，我发现有人需要编写一个 80GB 的文件，并且发现他可以使用 C 全速编写。我决定尝试使用以下代码:
FILE *in = fopen(infile, "rb");
FILE *out = fopen(outfile, "wb");
char buf[1024];
int read = 0;
// Read data in 1kb chunks and write to output file
while ((read = fread(buf, 1, 1024, in)) == 1024)
{
fwrite(buf, 1, 1024, out);
}
// If there is any data left over write it out
fwrite(buf, 1, read, out);
fclose(out);
fclose(in);
结果非常令人震惊。这是我在许多不同文件上多次运行后的基准之一:
File Size: 565,371,408 bytes
C : 1.539s | 350.345 MB/s
C++: 24.754s | 21.7815 MB/s - out << in.rdbuf()
C++: 220.555s | 2.44465 MB/s - std::copy()
造成这种巨大差异的原因是什么？我知道 C++ 无法与普通 C 的性能相媲美，但 348MB/s 的差异是巨大的。我有什么遗漏吗？
编辑:
我在 Windows 8.1 64 位操作系统上使用 Visual Studio 2013 进行编译。
编辑 2:
阅读 John Zwinck 的回答后，我决定只走平台特定的路线。因为我仍然想让我的项目跨平台，所以我整理了一个简单的例子。我真的不确定这些是否适用于 Windows 以外的其他系统，但我可以在以后测试 Linux。我无法测试 OSX，但我认为 copyfile 看起来像一个简单的函数，所以我认为它是正确的。
请记住，您需要执行相同的 #ifdef 逻辑来包含特定于平台的 header 。
void copy(std::string infile, std::string outfile)
{
#ifdef _WIN32 || _WIN64
// Windows
CopyFileA(infile.c_str(), outfile.c_str(), false);
#elif __APPLE__
// OSX
copyfile(infile.c_str(), outfile.c_str(), NULL, COPYFILE_DATA);
#elif __linux
// Linux
struct stat stat_buf;
int in_fd, out_fd;
offset_t offset = 0;
in_fd = open(infile.c_str(), O_RDONLY);
fstat(in_fd, &stat_buf);
out_fd = open(outfile.c_str(), O_WRONLY | O_CREAT, stat_buf.st_mode);
sendfile(out_fd, in_fd, &offset, stat_buf.st_size);
close(out_fd);
close(in_fd);
#endif
}
最佳答案
首先，您还应该针对在同一台机器上使用 CLI 复制同一文件进行基准测试。
其次，如果您想要获得最佳性能，您需要使用特定于平台的 API。在 Windows 上可能是 CopyFile/CopyFileEx，在 Mac OS 上是 copyfile，在 Linux 上是 sendfile。其中一些(肯定是 sendfile)提供了使用 C 或 C++ 中的基本可移植东西无法实现的性能。其中一些(CopyFileEx 和 copyfile)提供额外的功能，例如复制文件系统属性和可选的进度回调。
您可以在此处查看一些基准，显示 sendfile 的速度可以提高多少:Copy a file in a sane, safe and efficient way
最后，虽然 C++ iostream 在许多平台上不如 C 文件 I/O 快，但这是事实。如果您非常关心性能，那么使用 C 函数可能会更好。我在进行运行时速度很重要的编程竞赛时遇到过这种情况:使用 scanf 和 printf 而不是 cin 和 cout 在许多系统上都有很大的不同。
关于c++ - 为什么用 C 复制文件比 C++ 快得多？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23178191/
我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题
我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co
对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl
我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i