草庐IT

node.js - Mongo 遭受大量故障

coder 2023-05-30 原文

我在我的 mongostat 输出中看到了一个巨大的(~200++)故障/秒数，尽管锁定百分比非常低:

我的 Mongo 服务器在亚马逊云上的 m1.large 实例上运行，因此它们每个都有 7.5GB 的 RAM::

root:~# free -tm
             total       used       free     shared    buffers     cached
Mem:          7700       7654         45          0          0       6848

显然，我没有足够的内存来满足所有 cahin mongo 想要做的事情(顺便说一句，由于磁盘 IO，这会导致 CPU 使用率很高)。

我找到了 this document这表明在我的场景中(高故障，低锁定百分比)，我需要“横向扩展读取”和“更多磁盘 IOPS”。

我正在寻求有关如何最好地实现这一目标的建议。也就是说，我的 node.js 应用程序执行了很多不同的潜在查询，我不确定瓶颈发生在哪里。当然，我试过了

db.setProfilingLevel(1);

但是，这对我没有多大帮助，因为输出的统计信息只是显示我的查询速度很慢，但我很难将这些信息转换为导致页面错误的查询...

如您所见，这导致我的 PRIMARY mongo 服务器上的 CPU 等待时间很长(几乎 100%)，尽管 2x SECONDARY 服务器不受影响...

以下是 Mongo 文档对页面错误的评价:

Page faults represent the number of times that MongoDB requires data not located in physical memory, and must read from virtual memory. To check for page faults, see the extra_info.page_faults value in the serverStatus command. This data is only available on Linux systems.

Alone, page faults are minor and complete quickly; however, in aggregate, large numbers of page fault typically indicate that MongoDB is reading too much data from disk and can indicate a number of underlying causes and recommendations. In many situations, MongoDB’s read locks will “yield” after a page fault to allow other processes to read and avoid blocking while waiting for the next page to read into memory. This approach improves concurrency, and in high volume systems this also improves overall throughput.

If possible, increasing the amount of RAM accessible to MongoDB may help reduce the number of page faults. If this is not possible, you may want to consider deploying a shard cluster and/or adding one or more shards to your deployment to distribute load among mongod instances.

所以，我尝试了推荐的命令，这非常无用:

PRIMARY> db.serverStatus().extra_info
{
    "note" : "fields vary by platform",
    "heap_usage_bytes" : 36265008,
    "page_faults" : 4536924
}

当然，我可以增加服务器大小(更多 RAM)，但这很昂贵，而且似乎有点矫枉过正。我应该实现分片，但我实际上不确定哪些集合需要分片!因此，我需要一种方法来隔离故障发生的位置(哪些特定命令导致故障)。

感谢您的帮助。

最佳答案

我们真的不知道您的数据/索引是什么样的。

仍然是 MongoDB 优化的重要规则:
确保您的索引适合 RAM。 http://www.mongodb.org/display/DOCS/Indexing+Advice+and+FAQ#IndexingAdviceandFAQ-MakesureyourindexescanfitinRAM .

考虑到您的文档越小，您的 key /文档比率就越高，您的 RAM/磁盘大小比率就需要越高。

如果您可以稍微调整架构以将一些数据集中在一起，并减少所需的键数量，那可能会有所帮助。

关于node.js - Mongo 遭受大量故障，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12394313/

遭受MongosectionMongoDBpagenode.js

有关node.js - Mongo 遭受大量故障的更多相关文章

  1. ruby-on-rails - Assets 管道损坏 : Not compiling on the fly css and js files - 2

    我开始了一个新的Rails3.2.5项目，Assets管道不再工作了。CSS和Javascript文件不再编译。这是尝试生成Assets时日志的输出:StartedGET"/assets/application.css?body=1"for127.0.0.1at2012-06-1623:59:11-0700Servedasset/application.css-200OK(0ms)[2012-06-1623:59:11]ERRORNoMethodError:undefinedmethod`each'fornil:NilClass/Users/greg/.rbenv/versions/1

  2. ruby-on-rails - Rails - 理解 application.js 和 application.css - 2

    rails新手。只是想了解\assests目录中的这两个文件。例如，application.js文件有如下行://=requirejquery//=requirejquery_ujs//=require_tree.我理解require_tree。只是将所有JS文件添加到当前目录中。根据上下文，我可以看出requirejquery添加了jQuery库。但是它从哪里得到这些jQuery库呢？我没有在我的Assets文件夹中看到任何jquery.js文件——或者直接在我的整个应用程序中没有看到任何jquery.js文件？同样，我正在按照一些说明安装TwitterBootstrap(http:

  3. node.js - 如何在 Travis CI 上的一个项目中运行 Node.js 和 Ruby 测试 - 2

    我有一个包含多个组件的存储库，其中大部分是用JavaScript(Node.js)编写的，一个是用Ruby(RubyonRails)编写的。我想要一个.travis.yml文件来触发一个运行每个组件的所有测试的构建。根据thisTravisCIGoogleGroupthread，目前还没有官方支持。我的目录结构是这样的:.├──构建服务器├──核心├──扩展├──网络应用├──流浪文件├──package.json├──.travis.yml└──生成文件我希望能够运行特定版本的Ruby(2.2.2)和Node.js(0.12.2)。我已经有了一个make目标，所以maketest在每

  4. ruby-on-rails - ruby open ssl api for encrypted key (without nodes option) - 2

    在安装了openssllib的linux机器上，当您执行带有“-nodes”选项的“opensslpkcs12”时，您将获得带有未加密私钥的输出，但如果您跳过–nodes选项，则输出将具有加密的私钥。e.g.opensslpkcs12-intest.pfx-outtest.pem你应该看到像下面这样加密的私钥-----BEGINENCRYPTEDPRIVATEKEY-----MIIFDjBABgkqhkiGG7s=-----ENDENCRYPTEDPRIVATEKEY-----如何使用ruby​​的开放ssl库实现上述目标？这就是我用ruby​​生成私钥的方式:@private_key

  5. node.js - 从未编写过任何自动化测试，我应该如何开始行为驱动开发？ - 2

    按照目前的情况，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visitthehelpcenter指导。关闭9年前。多年来，我一直在使用多种语言进行编程，并且认为自己总体上相当擅长。但是，我从未编写过任何自动化测试:没有单元测试，没有TDD，没有BDD，什么都没有。我已经尝试开始为我的项目编写适当的测试套件。我可以看到在进行任何更改后能够自动测试项目中所有代码的理论值(value)。我可以看到像RSpec和Mocha这样的测试框架应该如何使设置和运行所述测试变得相当容易

  6. ruby-on-rails - 将 Angular JS 与 Rails 集成 - 2

    我需要一些指导来了解如何将Angular整合到rails中。选择Rails的原因:我喜欢他们偏执的做事方式。还有迁移，gem真的很酷。使用angular的原因:我正在研究和寻找最适合SPA的框架。Backbone似乎太抽象了。我不得不在Angular和Ember之间做出选择。我首先开始阅读Angular，它对我来说很有意义。所以我从来没有去读过关于ember的文章。使用Angular和Rails的原因:我研究并尝试使用小型框架，例如grape、slim(是的，我也使用php)。但我觉得需要坚持项目的长期范围。我个人喜欢用Rails的方式做事。这就是我需要帮助的地方，我在Rails4中有

  7. ruby-on-rails - 如何(大量)减少 Rails 应用程序中的 SQL 查询数量？ - 2

    在我的Rails应用程序中，我有users，它可以有许多invoices，而invoices又可以有许多payments。现在在dashboardView中，我想总结一个user曾经收到的所有payments，按年、季度或月。付款也分割为毛额、Netty和税额。user.rb:classUser:items).allpayments_with_invoice.select{|x|range.cover?x.date}.sum(&:"#{kind}_amount")endend发票.rb:classInvoicepayment.rb:classPaymentdashboards_cont

  8. node.js - 如何比较图像并确定哪个内容更多？ - 2

    目标:我想从动画GIF中抓取最佳帧并将其用作静态预览图像。我相信最好的帧是显示最多内容的帧-不一定是第一帧或最后一帧。以这张动图为例:--这是第一帧:--这是第28帧:很明显，第28帧很好地代表了整个GIF。我如何以编程方式确定一帧是否比另一帧具有更多像素/内容？如果您能向我指出任何想法、想法、包/模块或文章，我们将不胜感激。 最佳答案 实现此目的的一种直接方法是估计entropy每个图像的帧，并选择具有最大熵的帧。在信息论中，熵可以被认为是图像的“随机性”。单一颜色的图像是非常可预测的，分布越平坦，越随机。这与Arthur-R描述

  9. ruby-on-rails - 你如何说服你的经理你的项目需要大量重构？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭8年前。Improvethisquestion我作为承包商加入了一个Rails项目。该项目已经进行了一年多。代码由大约10名不同的开发人员编写，其中大多数也是承包商。他们有不同的代码风格。其中一些来自Java。该代码在metric_fu方面得分很低。许多函数非常长(100-300行)。有些函数有大量的逻辑分支、循环和递归。每个请求都会生成大量的sql查询。性能很差。许多过时的代码从未使用过但从未有机会被清理。核心架构明显错误或设计过度

  10. css - Less.js LoadError - 没有这样的文件要加载 - less 在 main .less 文件上 - 2

    我正在尝试在一个新元素中测试less.js。我100%确定javascript文件加载正常，但我的css文件夹中的less文件一直出现此错误。我打算在启动之前使用less.app编译它，但我宁愿让less.js在开发期间进行编译。由于它是.less或其他文件而不允许浏览器访问该文件是否存在问题？谢谢(运行ubuntu11.04和ruby​​v1.9.2，在firefox和chrome中同样的错误)这是我的head.haml文件，我在其中链接到less.js和app.less(它们都在正确的文件夹中)%link{:rel=>"stylesheet/less",:type=>"text/c

随机推荐