草庐IT

c++ - 错误的字节有时会写入磁盘。硬件问题？

coder 2024-02-04 原文

我使用 C++ 11 (VS2013) 编写了一个基于 UDP 的传输协议(protocol)。它运行速度极快 - 并且在 99.9% 的时间内运行良好。

但我几次观察到错误的字节被写入磁盘(三星 250 GB SSD 850 EVO)——或者至少看起来是这样。

这基本上是我传输 6GB 测试文件时有时会发生的情况:

  1. 文件被分割成更小的 UDP 数据包——大小为 64K。 (网络层将 UDP 数据报分解并重新组装成更大的包)。
  2. 客户端将数据包 (udp) 发送到服务器 - 负载使用 AES256 (OpenSSL) 加密并包含数据 + 元数据。有效负载还包含整个有效负载的 SHA256 哈希值——作为对 UDP 校验和进行补充的额外完整性检查。
  3. 服务器收到数据包，将“ACK”包发回给客户端，然后计算SHA256哈希值。散列与客户端散列相同 - 一切都很好
  4. 服务器然后将包的数据写入磁盘(由于巨大的性能差异，使用 fwrite 而不是流)。服务器一次只处理一个包 - 每个文件指针都有一个互斥锁保护器，可以保护它不被另一个工作线程关闭，该工作线程关闭了 10 秒不活动的文件指针。
  5. 客户端收到 UDP“ACK”包并重新发送尚未确认的包(意味着它们没有成功)。传入 ACK 包的速率控制客户端的发送速度(也称为拥塞控制/节流)。服务器上收到的包的顺序无关紧要，因为每个包都包含一个位置值(数据应写入文件中的位置)。

在传输整个文件后，我在服务器和客户端上对 6GB 文件进行了完整的 SHA256 哈希处理，但令我恐惧的是，最近几天我两次观察到该哈希值不是 相同(进行大约 20 次测试传输时)。

在 Beyond Compare 中比较文件后，我通常会发现服务器端有一两个位(在一个 6 GB 的文件中)错误。

请参见下面的屏幕截图:

服务器代码 - 在验证 DataPackage 哈希后调用

void WriteToFile(long long position, unsigned char * data, int lengthOfData){

    boost::lock_guard<std::mutex> guard(filePointerMutex);

    //Open if required
    if (filePointer == nullptr){
        _wfopen_s(&filePointer, (U("\\\\?\\") + AbsoluteFilePathAndName).c_str(), L"wb");
    }

    //Seek
    fsetpos(filePointer, &position);

    //Write - not checking the result of the fwrite operation - should I?
    fwrite(data, sizeof(unsigned char), lengthOfData, filePointer);

    //Flush
    fflush(filePointer);

    //A separate worker thread is closing all stale filehandles 
    //(and setting filePointer to NULLPTR). This isn't invoked until 10 secs
    //after the file has been transferred anyways - so shouldn't matter
}

总结一下:

  • 服务器内存中的 char * 是正确的 - 否则服务器 SHA256 哈希会失败 - 对吗？ (与 sha256 发生哈希冲突的可能性极小)。
  • 写入磁盘时似乎发生损坏。由于在发送 6GB 文件时大约有 95.000 个 64k 包写入磁盘 - 而且它只发生一次或两次(当它发生时) - 意味着这是一种罕见的现象

这怎么会发生？这是我的硬件(坏内存/磁盘)造成的吗？

我真的需要在写入后从磁盘读取数据吗？ memcmp 以便 100% 确定将正确的字节写入磁盘？ (哦，天哪——这将是多么出色的表现……)

最佳答案

在我的本地电脑上 - 结果是内存问题。通过运行 memtest86 发现。

尽管如此 - 我修改了在我们的生产服务器上运行的软件代码 - 使其从磁盘读取以验证是否确实写入了正确的字节。这些服务器每天将大约 10TB 的数据写入磁盘——在运行新代码一周后——错误发生了一次。该软件通过再次写入和验证来纠正这个问题——但看到它确实发生了仍然很有趣。

560000000000000 位中的 1 位被错误写入磁盘。太棒了。

稍后我可能会在此服务器上运行 memtest86 以查看这是否也是 RAM 问题 - 但我不再真的非常担心这个问题，因为文件完整性或多或少得到了保证，并且服务器没有显示任何迹象否则硬件问题。

因此 - 如果文件完整性对您来说极其重要(就像对我们一样)- 那么请不要 100% 信任您的硬件并验证读/写操作。异常可能是硬件问题的早期迹象。

关于c++ - 错误的字节有时会写入磁盘。硬件问题？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39013731/

amp43strongsectionfilePointerc++hardwareramsha256

有关c++ - 错误的字节有时会写入磁盘。硬件问题？的更多相关文章

  1. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  2. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  3. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  4. ruby-on-rails - 如何优雅地重启 thin + nginx？ - 2

    我的瘦服务器配置了nginx，我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例，但找不到好的解决方案。有没有人能做到这一点？ 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器，例如server{listen80;server

  5. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

  6. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  7. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题，我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  8. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”，并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符，电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时，所有测试都通过了，但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

  9. ruby-on-rails - 如何在 Rails View 上显示错误消息？ - 2

    我是rails的新手，想在form字段上应用验证。myviewsnew.html.erb.....模拟.rbclassSimulation{:in=>1..25,:message=>'Therowmustbebetween1and25'}end模拟Controller.rbclassSimulationsController我想检查模型类中row字段的整数范围，如果不在范围内则返回错误信息。我可以检查上面代码的范围，但无法返回错误消息提前致谢 最佳答案 关键是您使用的是模型表单，一种显示ActiveRecord模型实例属性的表单。c

  10. 使用 ACL 调用 upload_file 时出现 Ruby S3 "Access Denied"错误 - 2

    我正在尝试编写一个将文件上传到AWS并公开该文件的Ruby脚本。我做了以下事情:s3=Aws::S3::Resource.new(credentials:Aws::Credentials.new(KEY,SECRET),region:'us-west-2')obj=s3.bucket('stg-db').object('key')obj.upload_file(filename)这似乎工作正常，除了该文件不是公开可用的，而且我无法获得它的公共(public)URL。但是当我登录到S3时，我可以正常查看我的文件。为了使其公开可用，我将最后一行更改为obj.upload_file(file

随机推荐