草庐IT

MongoDB - 产生的操作

coder 2023-11-03 原文

在以 mongo 作为数据库的设置上进行负载测试时，我注意到 mongo 经常记录属于同一操作的此类消息:

Thu May 16 20:44:20.101 [conn3] command voterdb.$cmd command: { group: { ns: "vote",
$reduce: function ( curr, result ) { result.count++; }, cond: { p: "59a0f4cd-8c0c-49c4-
8a11-0e1ac6d89c4a" }, initial: { count: 0 }, out: "inline", key: { p: 1, q: 1, a: 1 } }  
} ntoreturn:1 keyUpdates:0 numYields: 2 locks(micros) r:228316 reslen:876 136ms

应用程序很简单，我将文档添加到一个集合中，添加的每个文档都需要更新属于每种类型的文档数量。因此执行分组操作，在此集合中的文档按类型分组。

我注意到，当测试完成后，mongo 会继续显示这些消息，并在测试结束几分钟后处理这些分组查询(这意味着查询服务有延迟)。

我读到 mongo 是编写者贪婪的，我也读到过 yielded 操作。我是否正确地假设插入优先于分组并且产生分组操作导致测试后处理？

最佳答案

MongoDB 在数据库上使用读取器和写入器锁，这意味着一个写入器持有一个数据库的独占锁，而多个读取器可以共享一个锁。为了防止长时间运行的操作阻塞写入者和读取者队列，MongoDB 支持屈服。主要的方法是围绕这样的想法，即内存中的操作应该首先快速提供，而不必等待进入磁盘的操作。下面的链接提供了有关 yield 和分析统计数据的更多细节。

http://docs.mongodb.org/manual/faq/concurrency/#faq-concurrency-yielding http://docs.mongodb.org/manual/reference/database-profiler/

还有一些关于您的应用程序描述的想法。我将不得不详细介绍具体推荐的最佳方法，但我感觉到您正在做的事情有更有效的设计。

  1. 使用聚合框架与 Map Reduce:看起来您可能正在使用 MR 流程来执行统计。聚合框架的开销明显减少，而且几乎总是更快。

  2. 如果事实证明您只是在进行计数，请查看是否可以简单地执行 db.collection.find({..}).count()，因为这会非常快。计数缓存在索引中。

  3. 最后，您是否需要对每个插入的文档执行聚合？有多种选择。例如，您只想增加($inc)某个计数器，或在后台定期执行聚合。完美的场景是可以以类型的粒度存储文档，这将允许您在一个操作中同时进行计数和插入。

关于MongoDB - 产生的操作，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18253755/

MongoDB产生section读取器concurrency

有关MongoDB - 产生的操作的更多相关文章

  1. ruby - 如何使用 Selenium Webdriver 根据 div 的内容执行操作？ - 2

    我有一个使用SeleniumWebdriver和Nokogiri的Ruby应用程序。我想选择一个类，然后对于那个类对应的每个div，我想根据div的内容执行一个Action。例如，我正在解析以下页面:https://www.google.com/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=puppies这是一个搜索结果页面，我正在寻找描述中包含“Adoption”一词的第一个结果。因此机器人应该寻找带有className:"result"的div，对于每个检查它的.descriptiondiv是否包含单词“adoption

  2. ruby-on-rails - 如何处理 Grape 中特定操作的过滤器之前？ - 2

    我正在我的Rails项目中安装Grape以构建RESTfulAPI。现在一些端点的操作需要身份验证，而另一些则不需要身份验证。例如，我有users端点，看起来像这样:moduleBackendmoduleV1classUsers现在如您所见，除了password/forget之外的所有操作都需要用户登录/验证。创建一个新的端点也没有意义，比如passwords并且只是删除password/forget从逻辑上讲，这个端点应该与用户资源。问题是Grapebefore过滤器没有像except,only这样的选项，我可以在其中说对某些操作应用过滤器。您通常如何干净利落地处理这种情况？

  3. ruby-on-rails - 在 Ruby on Rails 中发送响应之前如何等待多个异步操作完成？ - 2

    在我做的一些网络开发中，我有多个操作开始，比如对外部API的GET请求，我希望它们同时开始，因为一个不依赖另一个的结果。我希望事情能够在后台运行。我找到了concurrent-rubylibrary这似乎运作良好。通过将其混合到您创建的类中，该类的方法具有在后台线程上运行的异步版本。这导致我编写如下代码，其中FirstAsyncWorker和SecondAsyncWorker是我编写的类，我在其中混合了Concurrent::Async模块，并编写了一个名为“work”的方法来发送HTTP请求:defindexop1_result=FirstAsyncWorker.new.async.

  4. ruby - 在 Ruby 中是否有一种惯用的方法来操作 2 个数组？ - 2

    a=[3,4,7,8,3]b=[5,3,6,8,3]假设数组长度相同，是否有办法使用each或其他一些惯用方法从两个数组的每个元素中获取结果？不使用计数器？例如获取每个元素的乘积:[15,12,42,64,9](0..a.count-1).eachdo|i|太丑了...ruby1.9.3 最佳答案 使用Array.zip怎么样？:>>a=[3,4,7,8,3]=>[3,4,7,8,3]>>b=[5,3,6,8,3]=>[5,3,6,8,3]>>c=[]=>[]>>a.zip(b)do|i,j|c[[3,5],[4,3],[7,6],

  5. ruby-on-rails - 如何让 Rails View 返回其关联的操作名称？ - 2

    我有一个非常简单的Controller来管理我的Rails应用程序中的静态页面:classPagesController我怎样才能让View模板返回它自己的名字，这样我就可以做这样的事情:#pricing.html.erb#-->"Pricing"感谢您的帮助。 最佳答案 4.3RoutingParametersTheparamshashwillalwayscontainthe:controllerand:actionkeys,butyoushouldusethemethodscontroller_nameandaction_nam

  6. Postman测试简单操作 - 2

    1、接口请求基本操作1.1例子tips在view的选项可以zoomin调整窗口字帖大小。1、创建一个测试的workspace，并命名为test2、test后面新增一个addrequest3、选择发送GET，URL为一个开源的https://api.apiopen.top/api/sentences获取每日一句4、点击send查看内容Tips:如果提示出现Error:tunnelingsocketcouldnotbeestablished,statusCode=407错误，参照以下解决办法)关于tunnelingsocketcouldnotbeestablished,cause=getaddri

  7. 【Linux操作系统】——网络配置与SSH远程 - 2

    Linux操作系统——网络配置与SSH远程安装完VMware与系统后，需要进行网络配置。第一个目标为进行SSH连接，可以从本机到VMware进行文件传送，首先需要进行网络配置。1.下载远程软件首先需要先下载安装一款远程软件：FinalShell或者xhell7FinalShellxhell7FinalShell下载：Windows下载http://www.hostbuf.com/downloads/finalshell_install.exemacOS下载http://www.hostbuf.com/downloads/finalshell_install.pkg2.配置CentOS网络安装好

  8. ruby - Ruby 语言可以用来构建操作系统吗？ - 2

    Ruby语言是否可以用于创建全新的移动操作系统或桌面操作系统，即是否可以用于系统编程？ 最佳答案 嗯，现在有一些操作系统使用比C更高级的语言。基本上，ruby解释器本身需要用一些低级的东西来编写，并且需要一些引导加载代码将功能齐全的ruby​​解释器作为独立内核加载到内存中。一旦ruby​​解释器被引导并以内核模式(或innerrings之一)运行，就没有什么可以阻止您在其上构建整个操作系统。不幸的是，它可能会很慢。每个操作系统功能的垃圾收集可能会相当引人注目。ruby解释器将负责任务调度和网络堆栈等基本事情，使用垃圾收集框架会大大

  9. ruby-on-rails - JSON 对象操作 - 2

    假设我们有以下描述一个人的JSON对象:{"firstName":"John","lastName":"Smith","age":25,"address":{"streetAddress":"212ndStreet","city":"NewYork","state":"NY","postalCode":"10021"},"phoneNumber":[{"type":"home","number":"212555-1234"},{"type":"fax","number":"646555-4567"}]有人可以建议在Rails3中操作前一个对象的最优雅和最有效的方法吗？我希望能够:添加另

  10. ruby - 用于简单数组操作的慢速 Ruby - 2

    我按照Cormen的“算法导论”中的伪代码，在Ruby中创建了简单的插入排序实现:defsort_insert(array)(1...array.length).eachdo|item_index|key=array[item_index]i=item_index-1whilei>=0&&array[i]>keydoarray[i+1]=array[i]i-=1endarray[i+1]=keyendarrayend它有效，但执行速度非常慢。对于约20k个元素的数组array=((0..10_000).to_a*2).shuffle，排序大约需要20秒。我只测量这个方法调用的时间，没有

随机推荐