Mongodb 高页面错误和高锁但内存足够？

coder 2023-10-28 原文

这台机器是我的 mongodb 集群的一个分片。集群有3个shard，machine1中的shard1和machine2中的shard2，都是8G内存和800G磁盘。 machine3中的configdb、mongos和shard3，特别是16G内存和400G磁盘。

现在的问题是:

mongostat在machine3是正常的，但是在machine1和machine2，page faults和locked db一直很高。

我只是列出了 machine1 的一些状态: top命令的结果:

[]$top
Cpu(s):  0.2%us,  0.2%sy,  0.0%ni, 99.2%id,  0.3%wa,  0.0%hi,  0.0%si,  0.2%st
Mem:   7633792k total,  7302168k used,   331624k free,    84456k buffers
Swap:        0k total,        0k used,        0k free,  6209852k cached

 PID    PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 7562   20   0  200g 1.0g 702m S  0.3 14.3   4:36.50 mongod

这是 mongostat:

insert  query update delete getmore command flushes mapped  vsize    res non-mapped faults     locked db idx miss %     qr|qw   ar|aw  netIn netOut  conn       time 
 0      2     12      0       0      13       0   100g   201g   911m       101g     11  amazon:38.9%          0       3|0     1|0     4k     4k    14   01:45:35 
 0      0      3      0       0       7       1   100g   201g   912m       101g     28   amazon:1.2%          0       0|0     0|0     1k     3k    14   01:45:36 
 0      2     14      0       0      15       0   100g   201g   912m       101g     93   amazon:4.6%          0       0|0     0|0     7k     4k    14   01:45:37 
 0      0      0      0       0       1       0   100g   201g   911m       101g    141   amazon:0.2%          0       0|0     0|0    62b     2k    14   01:45:38 
 0      6     24      0       0      25       0   100g   201g   913m       101g    123   amazon:6.4%          0       0|0     0|0     8k     6k    14   01:45:39 
 0      1      9      0       0      10       0   100g   201g   912m       101g     33   amazon:4.2%          0       0|0     0|0     3k     3k    14   01:45:40 
 0     12     59      0       0      58       0   100g   201g   914m       101g    108  amazon:30.0%          0       1|0     0|1    24k    12k    14   01:45:41 
 0     20     93      0       0      96       0   100g   201g   911m       101g    114  amazon:36.1%          0       0|0     0|0    33k    17k    14   01:45:42 
 0     19     84      0       0      86       0   100g   201g   913m       101g    103  amazon:43.9%          0       0|0     1|0    28k    16k    14   01:45:43 
 0      9     29      0       0      26       0   100g   201g   914m       101g     37   amazon:5.5%          0       5|0     0|1    11k     6k    14   01:45:44

这是服务器状态:

> db.serverStatus()
{
    "host" : "XX-XX-XX-XX:25018",
    "version" : "2.2.3",
    "process" : "mongod",
    "pid" : 7562,
    "uptime" : 1410,
    "uptimeMillis" : NumberLong(1410211),
    "uptimeEstimate" : 1390,
    "localTime" : ISODate("2013-03-22T01:49:01.459Z"),
    "locks" : {
        "." : {
            "timeLockedMicros" : {
                "R" : NumberLong(563437),
                "W" : NumberLong(22798453)
            },
            "timeAcquiringMicros" : {
                "R" : NumberLong(303677814),
                "W" : NumberLong(59991149)
            }
        },
        "admin" : {
            "timeLockedMicros" : {
            },
            "timeAcquiringMicros" : {   
            }
        },
        "local" : {
            "timeLockedMicros" : {
                "r" : NumberLong(6613),
                "w" : NumberLong(0)
            },
            "timeAcquiringMicros" : {
                "r" : NumberLong(1937433),
                "w" : NumberLong(0)
            }
        },
        "amazon" : {
            "timeLockedMicros" : {
                "r" : NumberLong(203845605),
                "w" : NumberLong(651848025)
            },
            "timeAcquiringMicros" : {
                "r" : NumberLong(621538184),
                "w" : NumberLong(1525509360)
            }
        },
        "test" : {
            "timeLockedMicros" : {
                "r" : NumberLong(5143),
                "w" : NumberLong(999532)
            },
            "timeAcquiringMicros" : {
                "r" : NumberLong(157712),
                "w" : NumberLong(60)
            }
        }
    },
    "globalLock" : {
        "totalTime" : NumberLong(1410211000),
        "lockTime" : NumberLong(22798453),
        "currentQueue" : {
            "total" : 0,
            "readers" : 0,
            "writers" : 0
        },
        "activeClients" : {
            "total" : 0,
            "readers" : 0,
            "writers" : 0
        }
    },
    "mem" : {
        "bits" : 64,
        "resident" : 945,
        "virtual" : 205577,
        "supported" : true,
        "mapped" : 102383,
        "mappedWithJournal" : 204766
    },
    "connections" : {
        "current" : 14,
        "available" : 805
    },
    "extra_info" : {
        "note" : "fields vary by platform",
        "heap_usage_bytes" : 190782680,
        "page_faults" : 68002
    },
    "indexCounters" : {
        "btree" : {
            "accesses" : 274412,
            "hits" : 274412,
            "misses" : 0,
            "resets" : 0,
            "missRatio" : 0
        }
    },
    "backgroundFlushing" : {
        "flushes" : 23,
        "total_ms" : 89781,
        "average_ms" : 3903.521739130435,
        "last_ms" : 929,
        "last_finished" : ISODate("2013-03-22T01:48:32.243Z")
    },
    "cursors" : {
        "totalOpen" : 0,
        "clientCursors_size" : 0,
        "timedOut" : 0
    },
    "network" : {
        "bytesIn" : 11325630,
        "bytesOut" : 181775584,
        "numRequests" : 67850
    },
    "opcounters" : {
        "insert" : 157,
        "query" : 6898,
        "update" : 29954,
        "delete" : 0,
        "getmore" : 0,
        "command" : 30902
    },
    "asserts" : {
        "regular" : 0,
        "warning" : 0,
        "msg" : 0,
        "user" : 1,
        "rollovers" : 0
    },
    "writeBacksQueued" : false,
    "dur" : {
        "commits" : 27,
        "journaledMB" : 0.36864,
        "writeToDataFilesMB" : 1.241313,
        "compression" : 0.2963027264769924,
        "commitsInWriteLock" : 0,
        "earlyCommits" : 0,
        "timeMs" : {
            "dt" : 3269,
            "prepLogBuffer" : 0,
            "writeToJournal" : 442,
            "writeToDataFiles" : 4,
            "remapPrivateView" : 23
        }
    },
    "recordStats" : {
        "accessesNotInMemory" : 32752,
        "pageFaultExceptionsThrown" : 1656,
        "amazon" : {
            "accessesNotInMemory" : 32752,
            "pageFaultExceptionsThrown" : 1656
        },
        "local" : {
            "accessesNotInMemory" : 0,
            "pageFaultExceptionsThrown" : 0
        },
        "test" : {
            "accessesNotInMemory" : 0,
            "pageFaultExceptionsThrown" : 0
        }
    },
    "ok" : 1
}

有人给我一些建议吗？非常感谢。

最佳答案

我遇到过类似的问题。服务器有时会挂断。我对我的查询进行了一些更改，希望它能修复。现在我不再那么频繁地遇到这些错误了。

我做了什么:

尽可能使用聚合而不是原始 js
使我的查询尽可能小。在我的 js 执行脚本中，我缩小了循环并引入了分页。
使用 $lt 而不是 limit。
在 find() 上仅获取必需的字段值。
为我用来查找的关键字段使用索引。索引字段的搜索速度更快。
限制 $in 查询中的元素数量
我使用 php ORM 将我的对象保存为 mongo 文档。我的一些文件真的很大。我将某些文档拆分成较小的文档，以便快速保存。

希望这些提示有所帮助。

关于Mongodb 高页面错误和高锁但内存足够？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15561551/

Mongodb 高 34 NumberLong amazon nosql

有关Mongodb 高页面错误和高锁但内存足够？的更多相关文章

ruby-on-rails - Ruby net/ldap 模块中的内存泄漏 - 2
作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代
ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2
大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje
ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2
我遵循MichaelHartl的“RubyonRails教程:学习Web开发”，并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符，电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时，所有测试都通过了，但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test
ruby-on-rails - 如何在 Rails View 上显示错误消息？ - 2
我是rails的新手，想在form字段上应用验证。myviewsnew.html.erb.....模拟.rbclassSimulation{:in=>1..25,:message=>'Therowmustbebetween1and25'}end模拟Controller.rbclassSimulationsController我想检查模型类中row字段的整数范围，如果不在范围内则返回错误信息。我可以检查上面代码的范围，但无法返回错误消息提前致谢最佳答案关键是您使用的是模型表单，一种显示ActiveRecord模型实例属性的表单。c
使用 ACL 调用 upload_file 时出现 Ruby S3 "Access Denied"错误 - 2
我正在尝试编写一个将文件上传到AWS并公开该文件的Ruby脚本。我做了以下事情:s3=Aws::S3::Resource.new(credentials:Aws::Credentials.new(KEY,SECRET),region:'us-west-2')obj=s3.bucket('stg-db').object('key')obj.upload_file(filename)这似乎工作正常，除了该文件不是公开可用的，而且我无法获得它的公共(public)URL。但是当我登录到S3时，我可以正常查看我的文件。为了使其公开可用，我将最后一行更改为obj.upload_file(file
ruby-on-rails - 错误 : Error installing pg: ERROR: Failed to build gem native extension - 2
我克隆了一个rails仓库，我现在正尝试捆绑安装背景:OSXElCapitanruby2.2.3p173(2015-08-18修订版51636)[x86_64-darwin15]rails-v在您的Gemfile中列出的或native可用的任何gem源中找不到gem'pg(>=0)ruby'。运行bundleinstall以安装缺少的gem。bundleinstallFetchinggemmetadatafromhttps://rubygems.org/............Fetchingversionmetadatafromhttps://rubygems.org/...Fe
ruby - ＃之间？ Cooper 的 *Beginning Ruby* 中的错误或异常 - 2
在Cooper的书BeginningRuby中，第166页有一个我无法重现的示例。classSongincludeComparableattr_accessor:lengthdef(other)@lengthother.lengthenddefinitialize(song_name,length)@song_name=song_name@length=lengthendenda=Song.new('Rockaroundtheclock',143)b=Song.new('BohemianRhapsody',544)c=Song.new('MinuteWaltz',60)a.betwee
ruby-on-rails - 每次我尝试部署时，我都会得到 - (gcloud.preview.app.deploy) 错误响应 : [4] DEADLINE_EXCEEDED - 2
我是Google云的新手，我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目，而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie
ruby-on-rails - Ruby 中的内存模型 - 2
ruby如何管理内存。例如:如果我们在执行过程中采用C程序，则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序
ruby-on-rails - Rails 5 Active Record 记录无效错误 - 2
我有两个Rails模型，即Invoice和Invoice_details。一个Invoice_details属于Invoice，一个Invoice有多个Invoice_details。我无法使用accepts_nested_attributes_forinInvoice通过Invoice模型保存Invoice_details。我收到以下错误:(0.2ms)BEGIN(0.2ms)ROLLBACKCompleted422UnprocessableEntityin25ms(ActiveRecord:4.0ms)ActiveRecord::RecordInvalid(Validationfa

Mongodb 高页面错误和高锁但内存足够？

有关Mongodb 高页面错误和高锁但内存足够？的更多相关文章

随机推荐