除了 Raspberry Pi3 B+ 上的 1GB 物理内存之外，我还使用 dphys-swapfile 设置了一个 4GB 的交换文件。默认值为 100MB。我正在运行一个 go 应用程序，其内存使用量有时会达到 1.2GB 左右的峰值。然而，即使有 4GB 交换内存，这个峰值也会导致 OOM 错误:

runtime: out of memory: cannot allocate 137035776-byte block (1053458432 in use)
fatal error: out of memory

runtime stack:
runtime.throw(0x6a2e8e, 0xd)
        /usr/local/go/src/runtime/panic.go:616 +0x60
runtime.largeAlloc(0x82ab0fc, 0x101, 0x11160b60)
        /usr/local/go/src/runtime/malloc.go:828 +0xdc
runtime.mallocgc.func1()
        /usr/local/go/src/runtime/malloc.go:721 +0x38
runtime.systemstack(0x0)
        /usr/local/go/src/runtime/asm_arm.s:349 +0x80
runtime.mstart()
        /usr/local/go/src/runtime/proc.go:1175

为什么 malloc 会忽略可用的交换空间？

root@raspberrypi:~# sysctl vm.swappiness
vm.swappiness = 100
root@raspberrypi:~# sysctl vm.overcommit_memory
vm.overcommit_memory = 1
root@raspberrypi:~# free
              total        used        free      shared  buff/cache   available
Mem:         949452       36448      847880        1148       65124      862884
Swap:       4194300       30464     4163836
root@raspberrypi:~# cat /proc/meminfo
MemTotal:         949452 kB
MemFree:          847880 kB
MemAvailable:     862900 kB
Buffers:           10476 kB
Cached:            46848 kB
SwapCached:          872 kB
Active:            32140 kB
Inactive:          37728 kB
Active(anon):      10008 kB
Inactive(anon):     3692 kB
Active(file):      22132 kB
Inactive(file):    34036 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:       4194300 kB
SwapFree:        4163836 kB
Dirty:                20 kB
Writeback:             0 kB
AnonPages:         12072 kB
Mapped:            13024 kB
Shmem:              1148 kB
Slab:              18452 kB
SReclaimable:       7816 kB
SUnreclaim:        10636 kB
KernelStack:         888 kB
PageTables:         1140 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:     4669024 kB
Committed_AS:     114252 kB
VmallocTotal:    1114112 kB
VmallocUsed:           0 kB
VmallocChunk:          0 kB
CmaTotal:           8192 kB
CmaFree:            6780 kB

将 vm.swappiness 设置为 1、10、60、100 或 vm.overcommit_memory 对此 OOM 没有影响。

我的理解是操作系统会尝试从物理内存中交换尽可能多的数据以避免 OOM 崩溃。但在这种情况下，它似乎只是忽略它。可能是什么原因？

完整性的 ulimit 值:

root@raspberrypi:~# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 7345
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 7345
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

最佳答案

如果您运行的是 32 位操作系统，您可能会遇到内存碎片问题。很有可能达到甚至无法分配几兆字节的地步，因为每个可能的虚拟地址都充满了一些东西。

这对于使用大量线程的语言(如 Java、.NET 或 Go)来说尤其糟糕。每个线程都有自己的堆栈，该堆栈放置在需要时可以增长的地方。

结合用于安全随机化的 ASLR，32 位内存很快就会碎片化。

您也可能达到最大 map 数。这甚至会影响 64 位系统，但我还没有看到它发生在 Go 上。 Rust 对它影响很大。 Linux 默认为 64k 映射。我在我的 Linux 系统上增加了它:

$ cat /etc/sysctl.d/20-max-maps.conf 
vm.max_map_count = 262144

关于go - 什么会导致 malloc 忽略交换空间？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/50762526/