草庐IT

memory-overcommitment

全部标签

c - Linux 中的 malloc() - "there is no guarantee that the memory really is available"?

我正在制作一款游戏,其中世界被分成描述世界的数据block。我将block保存在一个动态分配的数组中,因此在初始化世界数据结构时我必须使用malloc()。阅读malloc()manpage,有注释如下:Bydefault,Linuxfollowsanoptimisticmemoryallocationstrategy.Thismeansthatwhenmalloc()returnsnon-NULLthereisnoguaranteethatthememoryreallyisavailable.Incaseitturnsoutthatthesystemisoutofmemory,one

c++ - C、C++ : Shared libraries: Are single functions or complete libraries loaded into memory?

在静态编译中,只有程序实际需要的库函数才会链接到程序。共享库怎么样?动态链接器是只将程序实际需要的函数加载到内存中,还是始终加载整个共享库?如果它是函数,我如何获得程序的实际大小,包括它在运行时加载的函数?谢谢!奥利弗 最佳答案 通过静态编译,只有程序实际需要的库函数才会链接到程序。共享库怎么样?共享库由程序以符号方式引用,也就是说,程序将通过名称识别它所链接的共享库。动态链接器是仅将程序实际需要的函数加载到内存中,还是始终加载整个共享库?程序将引用共享库中的特定入口点和数据对象。共享库将作为单个大对象映射到内存中,但内核只会调入实

c - Linux :Identifying pages in memory

我想知道一个大文件的哪一部分缓存在内存中。我正在使用来自fincore的一些代码为此,它是这样工作的:文件被映射,然后fincore在地址空间上循环并使用mincore检查页面,但是由于文件大小(几个TB),它很长(几分钟)。有没有办法在使用过的RAM页面上循环?它会快得多,但这意味着我应该从某个地方获取已用页面的列表......但是我找不到允许这样做的方便的系统调用。代码如下:#include#include#include#include#include#include#include#include/*}*/#include#include#include#include#inc

C/Linux : dual-map memory with different permissions

我的程序将数据指针传递给第三方插件,目的是数据应该是只读的,所以最好防止插件写入数据对象。理想情况下,如果插件尝试写入,则会出现段错误。我听说有一些方法可以双重映射一个内存区域,这样第二个虚拟地址范围就指向相同的物理内存页面。第二个映射没有写权限,导出的指针将使用此地址范围而不是原始(可写)地址范围。我宁愿不改变原来的内存分配,无论他们碰巧使用malloc或mmap或其他什么。谁能解释一下如何做到这一点? 最佳答案 获得双重映射是可能的,但需要一些工作。我知道如何创建这种双重映射的唯一方法是使用mmap函数调用。对于mmap,您需要

linux - GNU malloc_info() : get really allocated memory?

我正在尝试调查大型多线程服务器的内存使用情况。根据mallinfo(),我得到arena=350M和fordblks=290M,这表明大部分空间实际上在malloc()内部被浪费了.malloc_info()函数提供了一个很好的XML数据结构,应该是不言自明的。不过,有人能给我解释一下吗是堆0特别的?是所有其他人所在的主要舞台吗?是block已分配、空闲/可用或两者兼而有之?什么是元素?使用mmap()/sbrk()分配的内存?什么是元素?可用内存?那呢??作为开始,我希望能够根据malloc()绘制应用程序分配的总内存,即所有已分配但尚未释放的内存。认为。

Python 多处理 - 调试 OSError : [Errno 12] Cannot allocate memory

我面临以下问题。我正在尝试并行化更新文件的函数,但由于OSError:[Errno12]无法分配内存,我无法启动Pool()。我已经开始在服务器上环顾四周,这不像是我在使用一个旧的、弱的/实际内存不足的服务器。参见htop:此外,free-m显示除了~7GB的交换内存外,我还有足够的可用RAM:我尝试处理的文件也不是那么大。我将在下面粘贴我的代码(和堆栈跟踪),大小如下:使用的predictionmatrix数据帧占用了大约。80MB根据pandasdataframe.memory_usage()文件geo.geojson是2MB我该如何调试它?我可以检查什么以及如何检查?感谢您提供任

linux - 共享内存 : How does shmget()/shared memory work?

通过查看shmget()的手册页,我了解到shmget()调用会在内存中分配#ofpages,这些页面可以跨进程共享。是否要创建映射到进程本地地址空间的内核内存页?或者是否为该段保留了相同的进程内存页,并且也将共享给其他附加进程?我的假设:调用shmget()时,内核将保留一定数量的段/页。调用shmat()时,保留段映射到进程的地址空间/页面。当新进程附加到同一段时,先前创建的内核段将映射到新进程的地址空间。这是正确的吗? 最佳答案 这个想法或多或少是正确的,除了“内核内存页”的措辞。在内存管理中保留/分配的内存不是专门为内核设计

linux - 'low memory'在linux中是什么意思

嗨,我是韩国人,对“Bootstrap首先将自身复制到固定的高端内存地址以为操作系统释放低端内存”感到困惑。我通过谷歌搜索发现的关于低内存的知识是,这是DOS系统中的第一个640K内存。这是否意味着所有OS系统(如内核)都进入低内存(640K)????感谢阅读本文。 最佳答案 此链接可能会有帮助:VirtualMemory主要是,On32-bitsystems,memoryisnowdividedinto"high"and"low"memory.Lowmemorycontinuestobemappeddirectlyintothek

c++ - 在 Linux 上的 C++ 源文件上运行 'gcc' 给出 "cc1plus: out of memory allocating ..."错误消息

我在Ubuntu上使用“gcc”编译C++源文件时遇到了一个令人费解的问题。解决了这个问题后,我想在这里发布它,以免其他人为解决它而头疼。为了这份报告,我们有最简单的C++“Hello,World”程序,存储在main.cpp中:#includeintmain(intargc,char*argv[]){return0;}当我运行命令时:gccmain.cpp我收到错误信息:cc1plus:outofmemoryallocating1677721600bytesafteratotalof475136bytes我确认我正在编译正确的位(即32位)。我做错了什么?

c - Linux 零拷贝 : Transfer memory pages between two processes with vmsplice

目前,我正在尝试了解splice/vmsplice的值(value)。关于IPC的用例,我在stackoverflow上偶然发现了以下答案:https://stackoverflow.com/a/1350550/1305501问题:如何在不复制数据(即零复制)的情况下使用vmsplice将内存页从一个进程传输到另一个进程?上面提到的答案声称这是可能的。但是,它不包含任何源代码。如果我正确理解vmsplice的文档,如果内存已正确分配和对齐,则以下函数会将内存页面传输到管道(内核缓冲区)而不进行复制。为便于演示省略了错误处理。//dataisalignedtopageboundaries