我如何在 Linux 上分配内存而不过度使用，以便 malloc 在没有可用内存且进程不会在访问时随机崩溃时实际返回 NULL？
我对 malloc 工作原理的理解:
因此，如果有一种方法可以从内核中获取由物理内存立即支持的内存，分配器可以使用它而不是过度使用页面，如果内核拒绝提供，则返回 NULL更多内存。
有没有办法做到这一点？
更新:
我知道这不能完全保护进程免受 OOM killer 的攻击，因为如果它的分数不好，它仍然会在内存不足的情况下被杀死，但这不是我担心的。
更新 2:
Nominal Animal 的评论给了我以下使用 mlock 的想法:
void *malloc_without_overcommit(size_t size) {
void *pointer = malloc(size);
if (pointer == NULL) {
return NULL;
}
if (mlock(pointer, size) != 0) {
free(pointer);
return NULL;
}
return pointer;
}
但是由于所有的系统调用，这可能很慢，所以这可能应该在分配器实现级别完成。而且它还阻止使用交换。
更新 3:
新想法，根据 John Bollingers 的评论:
/proc/meminfo 中的 MemFree 和 SwapFree 值中进行检查。getpagesize 找出页面大小，并将每个页面大小的一个字节写入内存，以便它得到物理内存(RAM 或交换)的支持。我还更仔细地查看了 mmap(2)并发现以下内容:
MAP_NORESERVE
Do not reserve swap space for this mapping. When swap space is reserved, one has the guarantee that it is possible to modify the mapping. When swap space is not reserved one might get SIGSEGV upon a write if no physical memory is available. See also the discussion of the file /proc/sys/vm/overcommit_memory in proc(5). In kernels before 2.6, this flag only had effect for private writable
这是否意味着使用 ~MAP_NORESERVE 映射将完全保护进程免受 OOM killer 的攻击？如果是这样，这将是完美的解决方案，只要有一个 malloc 实现，它可以直接在 mmap 之上工作。 (也许是 jemalloc？)
更新 4:
我目前的理解是 ~MAP_NORESERVE 不会防止 OOM killer ，但至少可以防止首次写入内存时发生段错误。
最佳答案
How can I allocate memory on Linux without overcommitting
那是一个loaded question ，或者至少是一个不正确的。该问题基于错误的假设，这使得回答所述问题充其量是无关紧要的，最坏的情况是会产生误导。
Memory overcommitment是一个系统范围的策略——因为它决定了有多少虚拟内存可供进程使用——而不是进程可以自己决定的东西。
内存是否重载由系统管理员决定。在 Linux 中，该策略是非常可调的(参见例如 man 5 proc 中的 /proc/sys/vm/overcommit_memory。进程在此期间无能为力
会影响内存过量使用策略的分配。
OP 似乎也有兴趣让他们的进程对 Linux 中的内存不足 killer (OOM killer )免疫。 (Linux 中的 OOM killer 是一种用于缓解内存压力的技术，通过杀死进程，从而将它们的资源释放回系统。)
这也是一种不正确的方法，因为 OOM killer 是一个启发式进程，其目的不是“惩罚或杀死行为不端的进程”，而是保持系统运行。这个工具在 Linux 中也是非常可调的，系统管理员甚至可以调整每个进程在高内存压力情况下被杀死的可能性。除了进程使用的内存量之外，在内存不足的情况下 OOM killer 是否会杀死它并不取决于进程；这也是由系统管理员管理的政策问题，而不是流程本身。
我假设 OP 试图解决的实际问题是如何编写可以动态响应内存压力的 Linux 应用程序或服务，而不是仅仅死掉(由于 SIGSEGV 或 OOM killer )。对此的答案是你不——你让系统管理员担心什么对他们来说是重要的，而不是在他们的工作量中——除非你的应用程序或服务是一个使用很多的应用程序或服务和大量内存，因此很可能在高内存压力下被不公平地杀死。 (特别是如果数据集足够大，需要启用比以其他方式启用的交换量大得多的交换量，从而导致更高的交换 Storm 风险和后期但过于强大的 OOM killer 。)
解决方案，或者至少是可行的方法，是对关键部分(或者甚至是整个应用程序/服务，如果它处理不应交换到磁盘的敏感数据)进行内存锁定，或者使用一个具有专用后备文件的内存映射。 (对于后者，here 是我在 2011 年编写的一个示例，它处理 TB 大小的数据集。)
OOM killer 仍然可以杀死进程，并且 SIGSEGV 仍然会发生(由于内核无法提供 RAM 支持的库函数的内部分配)，除非所有应用程序都被锁定到 RAM，但是至少服务/进程不再是不公平的目标，仅仅因为它使用大量内存。
可以捕获 SIGSEGV 信号(当没有内存可用于支持虚拟内存时发生)，但到目前为止，我还没有看到可以保证代码复杂性和所需维护工作的用例。
总而言之，对上述问题的正确回答是不，不要那样做。
关于c - Linux 上的 Malloc 没有过度使用，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48585079/
我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
很好奇，就使用rubyonrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提
假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t
我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po