草庐IT

linux - mmap:映射文件会立即加载到内存中吗?

coder 2023-06-17 原文

从手册中,我只知道 mmap() 将文件映射到虚拟地址空间,因此可以随机访问该文件。但是,我不清楚映射文件是否立即加载到内存中?我猜内核是按页管理映射的内存,按需加载,如果我只做几次读写,只加载了几页。这是正确的吗?

最佳答案

不,是的,也许吧。这取决于。

调用 mmap 通常仅意味着对您的应用程序而言,映射文件的内容被映射到其地址空间 ,就好像 文件被加载到那里一样。或者,就好像文件确实存在于内存中一样,就好像它们是一体的一样(其中包括写回磁盘的更改,假设您具有写访问权限)。

不多也不少。它没有加载某些东西的概念,应用程序也不知道这意味着什么。

应用程序并不真正了解任何诸如内存之类的东西,尽管虚拟内存系统使它看起来像这样。应用程序可以“看到”(和访问)的内存可能与实际物理内存相对应,也可能不对应,原则上这可以随时更改,无需事先警告,也没有明显的原因(对您的应用程序很明显)。
除了可能由于页面错误而经历小的延迟之外,应用程序(原则上)完全不知道任何此类事情的发生,并且几乎无法控制它1。

作为遇到故障的结果,应用程序通常会根据需要从映射文件(包括主可执行文件!)加载页面。但是,操作系统通常会尝试推测性地预取数据以优化性能。

在实践中,调用 mmap 将立即开始(异步)从映射的开头预取页面,直至达到特定实现指定的大小。这意味着,原则上,对于小文件,答案是"is",而对于大文件,答案是“否”。
但是, mmap 不会阻止等待预读完成,这意味着您不能保证在 mmap 返回后立即有任何文件在 RAM 中(无论如何您都没有这种保证!)。就目前而言,答案是“也许”。

在 Linux 下,我上次查看时,默认预取大小为 31 个块(~127k)——但这可能已经改变,而且它是一个可调参数。随着接近或位于预取区域末尾的页面被触摸,更多的页面被异步预取。
如果您已将 MADV_RANDOM 暗示为 madvise ,则预取“不太可能发生”,在 Linux 下,这会完全禁用预取。

另一方面,给出 MADV_SEQUENTIAL 提示将从映射的开头开始“更积极地”异步预取(并且可能更快地丢弃访问的页面)。在 Linux 下,“更积极”意味着两倍于正常数量。

给出 MADV_WILLNEED 提示表明(但不保证)尽快加载给定范围内的所有页面(因为您说要访问它们)。操作系统可能会忽略这一点,但在 Linux 下,它被视为命令而不是提示,最多可达进程的最大 RSS 限制和实现指定的限制(如果我没记错的话,物理 RAM 量的 1/2 )。
请注意,MADV_DONTNEED 在 Linux 下可能被错误地实现。提示不是按照 POSIX 指定的方式解释的,即您可以暂时将页面调出,而是您打算丢弃它们。这对于只读映射页面没有太大区别(除了小的延迟,你说这没问题),但它确实对其他一切都很重要。
特别是,使用 MADV_DONTNEED 认为 Linux 会在操作系统懒惰地将它们写入磁盘后释放不需要的页面是不正常的!您必须明确同步,或为惊喜做好准备。

在调用 readahead 之前在文件描述符上调用了 mmap(或者之前已经读/写了文件),实际上文件的内容确实会立即在 RAM 中。
然而,这只是一个实现细节(统一虚拟内存系统),并且会受到系统内存压力的影响。

调用 mlock 将 - 假设它成功2 - 立即将请求的页面加载到 RAM 中。它会阻塞直到所有页面都物理存在,并且您可以保证页面将保留在 RAM 中,直到您解锁它们。

1 存在查询( mincore )特定范围内的任何或所有页面此时是否实际存在的功能,以及提示操作系统您希望看到发生的事情的功能,而无需任何硬保证( madvise ),最后的功能是强制将有限的页面子集存在于内存(mlock)中以供特权进程使用。

2 可能不会,因为缺乏特权和超出配额或存在的物理 RAM 量。

关于linux - mmap:映射文件会立即加载到内存中吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19653618/

有关linux - mmap:映射文件会立即加载到内存中吗?的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake,如果我把所有东西都放到Rakefile中,它会很大并且很难读取/找到东西,所以我试着将每个命名空间放在lib/rake中它自己的文件中,我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题,但没有任务。我现在只有一个.rake文件作为测试,名为“servers.rake”,它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入,例如“100兆字节”或“1GB”,并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前,我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效,但前提是输入是倍数(“gigabytes”,而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以,功能正常,

  4. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分,我编写了一个小导入程序,它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是,与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存,我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关,因为当我删除对LDAP内容的调用时,内存使用情况会很好地稳定下来。此外,不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray,它们都是LDAP库的一部分。当我运行导入时,内存使用量最终达到超过1GB的峰值。如果问题存在,我需要找到一些方法来更正我的代

  5. ruby - 我需要将 Bundler 本身添加到 Gemfile 中吗? - 2

    当我使用Bundler时,是否需要在我的Gemfile中将其列为依赖项?毕竟,我的代码中有些地方需要它。例如,当我进行Bundler设置时:require"bundler/setup" 最佳答案 没有。您可以尝试,但首先您必须用鞋带将自己抬离地面。 关于ruby-我需要将Bundler本身添加到Gemfile中吗?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/4758609/

  6. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情? 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中,使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件,我们在StackOverflow上找到一个类似的问题

  7. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  8. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  9. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  10. ruby - 如何在续集中重新加载表模式? - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

随机推荐