草庐IT

c++ - 为什么这个循环会破坏我的内存？

coder 2024-06-12 原文

我的 MMF 类中有这个函数

    void Clear() {
        int size = SizeB();
        int iter = size / sysInfo.granB;
        for (int i = 0; i < iter; i++) {
            auto v = (char*)MapViewOfFile(hMmf, FILE_MAP_READ | (write ? FILE_MAP_WRITE : 0), 0, i * sysInfo.granB, sysInfo.granB);
            std::memset(v, 0, sysInfo.granB);   
            UnmapViewOfFile(v);
        }
    }

所以它所做的是以最小的可寻址 block (在本例中为 64k)遍历整个文件，映射 View ，写入 0，取消映射，重复。它工作正常并且速度非常快，但是当我使用它时，会出现一些幻象内存使用情况。

根据 Windows 任务管理器，进程本身只使用了几兆字节，但当我在较大的文件上使用它时，“物理内存使用量”猛增。例如，在一个 2GB 的文件上使用它足以让我的笔记本电脑昏迷几分钟，物理内存使用率达到 99%，任务管理器中的所有内容都在疯狂减少内存并且所有内容都会卡住一段时间。

我尝试在 64k block 中执行此操作的全部原因是为了降低内存使用量，但在这种情况下 block 大小并不重要，覆盖文件的任何大小块 * n 都会做同样的事情。

我尝试过的一些事情:

  1. 在取消映射之前刷新 View - 这会使事情变得非常缓慢，以任何大小的 block 处理 2gb 文件大约需要 10 分钟。
  2. 在循环中添加硬编码延迟 - 它实际上工作得很好，它仍然可以在几秒钟内完成，内存使用率保持较低，但我真的不喜欢任何循环中硬编码延迟的概念
  3. 只在文件末尾写入 0 - 我实际上不需要清除文件，而只是强制它准备好使用。我的意思是 - 当我创建一个新文件并从我的随机 IO 开始时，我最多只能得到 ~1MB/s。如果我打开一个现有文件或先在新文件中强制写入 0，我会获得更快的速度。我不太确定为什么会这样，但另一个线程中的用户建议在设置文件指针后向文件的末尾写入一些内容与清除具有相同的效果，但从测试来看，这是不正确的。

所以目前我正在尝试从清除文件而不破坏计算机内存的角度来解决这个问题。有人知道如何适本地限制该循环吗？

最佳答案

事情是这样的。当您 MapViewOfFile 时，它会分配关联的内存范围，但可能可能会将其标记为已换出(例如，如果它尚未读入内存)。如果是这种情况，那么当您第一次访问它时会遇到页面错误(这将导致操作系统读取它)。

然后，当您UnmapViewOfFile 时，操作系统会取得相关内存范围的所有权，并将用户空间现在不可访问的数据写回磁盘(当然，假设您已经写入它，将页面标记为“脏”，否则直接取消分配)。引用the documentation (我要求您在评论中阅读):修改后的页面“延迟”写入磁盘；也就是说，修改可能会缓存在内存中，稍后写入磁盘。

取消映射文件 View 不能保证“取消提交”并将数据写入磁盘。此外，即使 CloseHandle 也不提供该保证。它只是关闭它的句柄。由于缓存机制，如果您不调用 FlushViewOfFile，操作系统完全可以自行将数据写回磁盘。 .即使重新打开同一个文件，也可能只是从缓存中而不是从磁盘中拉回数据。

最终的问题是

  1. 你内存映射一个文件
  2. 你写入内存映射
  3. 写入内存映射的地址范围会导致从磁盘读取文件的映射
  4. 您取消映射文件
  5. “延迟”取消映射文件将数据写回磁盘
  6. 操作系统可能达到内存压力，发现有一些未写入的数据现在可以写入磁盘，并强制发生这种情况以恢复物理内存以进行新分配；顺便说一句，由于操作系统延迟刷新，您的 IO 不再是顺序的，导致主轴磁盘延迟急剧增加

您在 sleep 时会看到更好的性能，因为您让操作系统有机会说“嘿，我什么都没做……让我们继续刷新缓存”，这会强制磁盘 IO 大致按顺序进行。

关于c++ - 为什么这个循环会破坏我的内存？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35776217/

amp破坏sectioncodelic++windowswinapimemory-mapped-files

有关c++ - 为什么这个循环会破坏我的内存？的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代

  3. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

  4. ruby - 树顶语法无限循环 - 2

    我脑子里浮现出一些关于一种新编程语言的想法，所以我想我会尝试实现它。一位friend建议我尝试使用Treetop(Rubygem)来创建一个解析器。Treetop的文档很少，我以前从未做过这种事情。我的解析器表现得好像有一个无限循环，但没有堆栈跟踪；事实证明很难追踪到。有人可以指出入门级解析/AST指南的方向吗？我真的需要一些列出规则、常见用法等的东西来使用像Treetop这样的工具。我的语法分析器在GitHub上，以防有人希望帮助我改进它。class{initialize=lambda(name){receiver.name=name}greet=lambda{IO.puts("He

  5. ruby-on-rails - 在 Ruby 中循环遍历多个数组 - 2

    我有多个ActiveRecord子类Item的实例数组，我需要根据最早的事件循环打印。在这种情况下，我需要打印付款和维护日期，如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询，用于查找maintenance和payment项目(非排他性查询)，并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代

  6. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  7. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  8. ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996？但是 4.2%2==0.2 - 2

    为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返

  9. ruby-on-rails - 如何优雅地重启 thin + nginx？ - 2

    我的瘦服务器配置了nginx，我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例，但找不到好的解决方案。有没有人能做到这一点？ 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器，例如server{listen80;server

  10. ruby - ruby 中的 TOPLEVEL_BINDING 是什么？ - 2

    它不等于主线程的binding，这个toplevel作用域是什么？此作用域与主线程中的binding有何不同？>ruby-e'putsTOPLEVEL_BINDING===binding'false 最佳答案 事实是，TOPLEVEL_BINDING始终引用Binding的预定义全局实例，而Kernel#binding创建的新实例>Binding每次封装当前执行上下文。在顶层，它们都包含相同的绑定(bind)，但它们不是同一个对象，您无法使用==或===测试它们的绑定(bind)相等性。putsTOPLEVEL_BINDINGput

随机推荐