草庐IT

memory - HTOP 中的 VIRT 列是什么?内存开销?

coder 2023-06-04 原文

此 HTOP 输出中的 VIRT 列是什么意思?它以红色和粗体显示。

我正在运行一个具有 4 个节点 的 Elasticsearch 集群并为海量数据编制索引。

  • 1700 个索引,包含 3 个分片,一些包含 10 个小文档,另一些包含 50 万个小文档
  • 1 个索引,3 个分片,6000 万个小文档

始终显示绿色健康。

这是一个具有 4GB RAM 和 2 个 CPU 的 DigitalOcean droplet。我将 heapsize 设置为 2gb(-Xms 和 -Xmx)

这是 RAM 内存的开销吗?

  1  [|||||                                9.4%]     Tasks: 26, 122 thr; 2 running
  2  [|||                                  4.3%]     Load average: 0.25 0.47 0.65
  Mem[||||||||||||||||||||||||||||||2592/3954MB]     Uptime: 2 days, 01:05:57
  Swp[                                    0/0MB]

  PID USER      PRI  NI  VIRT   RES   SHR S CPU% MEM%   TIME+  Command
 9629 root       20   0 16.2G 2516M 97360 S 12.0 63.6 27h02:30 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
21564 root       20   0 16.2G 2516M 97360 S  4.0 63.6  1:12.17 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9644 root       20   0 16.2G 2516M 97360 S  1.0 63.6 47:39.34 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
20451 root       20   0 25808  2020  1208 R  0.0  0.0 25:19.48 htop
 9654 root       20   0 16.2G 2516M 97360 S  1.0 63.6  5:43.32 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9651 root       20   0 16.2G 2516M 97360 S  0.0 63.6  6:34.53 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9653 root       20   0 16.2G 2516M 97360 S  1.0 63.6  1:46.23 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
21565 root       20   0 16.2G 2516M 97360 S  0.0 63.6  1:12.48 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
21563 root       20   0 16.2G 2516M 97360 S  0.0 63.6  1:11.12 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
21472 root       20   0 16.2G 2516M 97360 S  0.0 63.6  1:15.85 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9652 root       20   0 16.2G 2516M 97360 S  0.0 63.6  5:40.13 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
21562 root       20   0 16.2G 2516M 97360 S  0.0 63.6  1:10.93 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9631 root       20   0 16.2G 2516M 97360 S  0.0 63.6  1h19:18 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9632 root       20   0 16.2G 2516M 97360 S  0.0 63.6  1h19:19 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9633 root       20   0 16.2G 2516M 97360 S  0.0 63.6  7h19:13 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9850 root       20   0 16.2G 2516M 97360 S  0.0 63.6 18:16.00 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9634 root       20   0 16.2G 2516M 97360 S  0.0 63.6  1h29:54 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9722 root       20   0 16.2G 2516M 97360 S  0.0 63.6 50:24.42 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9703 root       20   0 16.2G 2516M 97360 S  0.0 63.6  4h25:50 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9704 root       20   0 16.2G 2516M 97360 S  0.0 63.6  4h26:01 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9662 root       20   0 16.2G 2516M 97360 S  0.0 63.6  1:19.60 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9669 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:08.13 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9665 root       20   0 16.2G 2516M 97360 S  0.0 63.6  6:39.74 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
  385 syslog     20   0  243M  1696   872 S  0.0  0.0  0:13.37 rsyslogd -c5
  397 syslog     20   0  243M  1696   872 S  0.0  0.0  0:05.58 rsyslogd -c5
 9640 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:24.60 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9647 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:10.90 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9635 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:38.98 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
  950 root       20   0 15988   664   488 S  0.0  0.0  0:21.99 /usr/sbin/irqbalance
 9645 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:19.28 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9700 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:10.25 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
19171 root       20   0 86232  2316  1364 S  0.0  0.1  0:10.56 sshd: root@pts/0
 9648 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:09.37 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9639 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:32.61 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9642 root       20   0 16.2G 2516M 97360 S  0.0 63.6  3:04.59 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9643 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:37.35 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9649 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:55.92 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9650 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:15.67 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9706 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:51.00 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9705 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:38.98 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9667 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:08.34 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9646 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:10.10 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9668 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:07.83 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
 9666 root       20   0 16.2G 2516M 97360 S  0.0 63.6  0:08.01 /usr/bin/java -Xms256m -Xmx1g -Xss256k -
  398 syslog     20   0  243M  1696   872 S  0.0  0.0  0:01.40 rsyslogd -c5
  632 root       20   0 50044  1648  1036 S  0.0  0.0  0:02.10 /usr/sbin/sshd -D
    1 root       20   0 24300  1644   740 S  0.0  0.0  0:01.80 /sbin/init

我可以购买更多机器,但我不知道哪个更好:另一台机器 VS 更多 RAM。

更新:一个进程的第一行和最后一行pmap

 root@es2:~# pmap -d 3589
 3589:   /usr/bin/java -Xms256m -Xmx1g -Xss256k -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -Delasticsearch -Des.foreground=yes -Des.path.home=/root/elasticsearch -cp :/root/elasticsearch/lib/elasticsearch-1.1.1.jar:/root/elasticsearch/lib/*:/root/elasticsearch/lib/sigar/* -Xmx2g -Xms2g -Des.node.name=es2 -Des.node.data=true -Des.node.master=false org.elasticsearch.bootstrap.Elasticsearch
 Address           Kbytes Mode  Offset           Device    Mapping
 0000000000400000       4 r-x-- 0000000000000000 0fd:00000 java
 0000000000600000       4 r---- 0000000000000000 0fd:00000 java
 0000000000601000       4 rw--- 0000000000001000 0fd:00000 java
 000000000188d000     132 rw--- 0000000000000000 000:00000   [ anon ]
 0000000775a00000 2118400 rw--- 0000000000000000 000:00000   [ anon ]
 00000007f6ec0000   37696 rw--- 0000000000000000 000:00000   [ anon ]
 00000007f9390000  111040 rw--- 0000000000000000 000:00000   [ anon ]
 00007f6cb0132000    4872 r--s- 0000000000000000 0fd:00000 _8d.fdt
 00007f6cb05f4000    5792 r--s- 0000000000000000 0fd:00000 _8d_es090_0.tim
 00007f6cb0b9c000    6208 r--s- 0000000000000000 0fd:00000 _8c.fdt
 00007f6cb11ac000    6548 r--s- 0000000000000000 0fd:00000 _a0.fdt
 00007f6cb1811000    7648 r--s- 0000000000000000 0fd:00000 _a0_es090_0.tim
 00007f6cb1f89000    5356 r--s- 0000000000000000 0fd:00000 _78.fdt
 00007f6cb24c4000    6236 r--s- 0000000000000000 0fd:00000 _78_es090_0.tim

 ....
 .......
 ....      (huge text)
 ....
 ......
 ..

 00007f703dc6e000       4 rw--- 0000000000007000 0fd:00000 librt-2.15.so
 00007f703dc6f000      84 r-x-- 0000000000000000 0fd:00000 libgcc_s.so.1
 00007f703dc84000    2044 ----- 0000000000015000 0fd:00000 libgcc_s.so.1
 00007f703de83000       4 r---- 0000000000014000 0fd:00000 libgcc_s.so.1
 00007f703de84000       4 rw--- 0000000000015000 0fd:00000 libgcc_s.so.1
 00007f703de85000    1004 r-x-- 0000000000000000 0fd:00000 libm-2.15.so
 00007f703df80000    2044 ----- 00000000000fb000 0fd:00000 libm-2.15.so
 00007f703e17f000       4 r---- 00000000000fa000 0fd:00000 libm-2.15.so
 00007f703e180000       4 rw--- 00000000000fb000 0fd:00000 libm-2.15.so
 00007f703e181000     904 r-x-- 0000000000000000 0fd:00000 libstdc++.so.6.0.16
 00007f703e263000    2044 ----- 00000000000e2000 0fd:00000 libstdc++.so.6.0.16
 00007f703e462000      32 r---- 00000000000e1000 0fd:00000 libstdc++.so.6.0.16
 00007f703e46a000       8 rw--- 00000000000e9000 0fd:00000 libstdc++.so.6.0.16
 00007f703e46c000      84 rw--- 0000000000000000 000:00000   [ anon ]
 00007f703e481000   10988 r-x-- 0000000000000000 0fd:00000 libjvm.so
 00007f703ef3c000    2048 ----- 0000000000abb000 0fd:00000 libjvm.so
 00007f703f13c000     608 r---- 0000000000abb000 0fd:00000 libjvm.so
 00007f703f1d4000     140 rw--- 0000000000b53000 0fd:00000 libjvm.so
 00007f703f1f7000     180 rw--- 0000000000000000 000:00000   [ anon ]
 00007f703f224000      88 r-x-- 0000000000000000 0fd:00000 libz.so.1.2.3.4
 00007f703f23a000    2044 ----- 0000000000016000 0fd:00000 libz.so.1.2.3.4
 00007f703f439000       4 r---- 0000000000015000 0fd:00000 libz.so.1.2.3.4
 00007f703f43a000       4 rw--- 0000000000016000 0fd:00000 libz.so.1.2.3.4
 00007f703f43b000      96 r-x-- 0000000000000000 0fd:00000 libpthread-2.15.so
 00007f703f453000    2044 ----- 0000000000018000 0fd:00000 libpthread-2.15.so
 00007f703f652000       4 r---- 0000000000017000 0fd:00000 libpthread-2.15.so
 00007f703f653000       4 rw--- 0000000000018000 0fd:00000 libpthread-2.15.so
 00007f703f654000      16 rw--- 0000000000000000 000:00000   [ anon ]
 00007f703f658000       8 r-x-- 0000000000000000 0fd:00000 libdl-2.15.so
 00007f703f65a000    2048 ----- 0000000000002000 0fd:00000 libdl-2.15.so
 00007f703f85a000       4 r---- 0000000000002000 0fd:00000 libdl-2.15.so
 00007f703f85b000       4 rw--- 0000000000003000 0fd:00000 libdl-2.15.so
 00007f703f85c000    1748 r-x-- 0000000000000000 0fd:00000 libc-2.15.so
 00007f703fa11000    2048 ----- 00000000001b5000 0fd:00000 libc-2.15.so
 00007f703fc11000      16 r---- 00000000001b5000 0fd:00000 libc-2.15.so
 00007f703fc15000       8 rw--- 00000000001b9000 0fd:00000 libc-2.15.so
 00007f703fc17000      20 rw--- 0000000000000000 000:00000   [ anon ]
 00007f703fc1c000      52 r-x-- 0000000000000000 0fd:00000 libjli.so
 00007f703fc29000    2044 ----- 000000000000d000 0fd:00000 libjli.so
 00007f703fe28000       4 r---- 000000000000c000 0fd:00000 libjli.so
 00007f703fe29000       4 rw--- 000000000000d000 0fd:00000 libjli.so
 00007f703fe2a000     136 r-x-- 0000000000000000 0fd:00000 ld-2.15.so
 00007f703fe4c000      32 r--s- 000000000005a000 0fd:00000 lucene-codecs-4.7.2.jar
 00007f703fe54000      16 r--s- 0000000000085000 0fd:00000 localedata.jar
 00007f703fe58000       8 r--s- 0000000000012000 0fd:00000 zipfs.jar
 00007f703fe5a000      12 r--s- 0000000000032000 0fd:00000 sunjce_provider.jar
 00007f703fe5d000      16 r--s- 000000000003b000 0fd:00000 sunpkcs11.jar
 00007f703fe61000     556 rw--- 0000000000000000 000:00000   [ anon ]
 00007f703feec000      72 rw--- 0000000000000000 000:00000   [ anon ]
 00007f703fefe000     220 rw--- 0000000000000000 000:00000   [ anon ]
 00007f703ff35000      40 rw--- 0000000000000000 000:00000   [ anon ]
 00007f703ff3f000     148 rw--- 0000000000000000 000:00000   [ anon ]
 00007f703ff64000     580 rw--- 0000000000000000 000:00000   [ anon ]
 00007f703fff5000      32 rw-s- 0000000000000000 0fd:00000 3279
 00007f703fffd000      12 ----- 0000000000000000 000:00000   [ anon ]
 00007f7040000000     268 rw--- 0000000000000000 000:00000   [ anon ]
 00007f7040043000       4 r--s- 0000000000008000 0fd:00000 lucene-memory-4.7.2.jar
 00007f7040044000       8 r--s- 000000000000f000 0fd:00000 pulse-java.jar
 00007f7040046000       4 r--s- 0000000000007000 0fd:00000 java-atk-wrapper.jar
 00007f7040047000       4 r--s- 0000000000002000 0fd:00000 dnsns.jar
 00007f7040048000       4 rw--- 0000000000000000 000:00000   [ anon ]
 00007f7040049000       4 r---- 0000000000000000 000:00000   [ anon ]
 00007f704004a000       8 rw--- 0000000000000000 000:00000   [ anon ]
 00007f704004c000       4 r---- 0000000000022000 0fd:00000 ld-2.15.so
 00007f704004d000       8 rw--- 0000000000023000 0fd:00000 ld-2.15.so
 00007fff9dcbe000     132 rw--- 0000000000000000 000:00000   [ stack ]
 00007fff9ddfe000       8 r-x-- 0000000000000000 000:00000   [ anon ]
 ffffffffff600000       4 r-x-- 0000000000000000 000:00000   [ anon ]
 ffffffffff600000       4 r-x-- 0000000000000000 000:00000   [ anon ]
 mapped: 17052740K    writeable/private: 2523144K    shared: 13562836K
 root@es2:~#

最佳答案

我不会再担心 VIRT 的事情了。

Virtual Memory Usage from Java under Linux, too much memory used

我怀疑首页是为 vsyscall 目的而分配的(参见 What are vdso and vsyscall?)。这意味着虽然您的进程映射了 16Gb 范围的虚拟内存,但它在物理内存方面肯定没有使用类似的东西。进入 RES 条目。

关于你需要更多的机器还是更多的内存......它很慢吗?您需要对瓶颈所在的位置进行更多取证,但那里的 htop 捕获似乎没有太大压力。

关于memory - HTOP 中的 VIRT 列是什么?内存开销?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23187228/

有关memory - HTOP 中的 VIRT 列是什么?内存开销?的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

    总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  3. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake,如果我把所有东西都放到Rakefile中,它会很大并且很难读取/找到东西,所以我试着将每个命名空间放在lib/rake中它自己的文件中,我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题,但没有任务。我现在只有一个.rake文件作为测试,名为“servers.rake”,它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  4. ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2

    作为我的Rails应用程序的一部分,我编写了一个小导入程序,它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是,与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存,我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关,因为当我删除对LDAP内容的调用时,内存使用情况会很好地稳定下来。此外,不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray,它们都是LDAP库的一部分。当我运行导入时,内存使用量最终达到超过1GB的峰值。如果问题存在,我需要找到一些方法来更正我的代

  5. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情? 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中,使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件,我们在StackOverflow上找到一个类似的问题

  6. ruby-on-rails - Rails - 子类化模型的设计模式是什么? - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co

  7. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  8. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  9. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何

  10. ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996?但是 4.2%2==0.2 - 2

    为什么4.1%2返回0.0999999999999996?但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意,这不是与Ruby相关的问题,而是与所有编程语言相关的问题,因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返

随机推荐