Mongodb 服务器端与客户端处理

coder 2023-10-29 原文

我有一个 shell 脚本，它在一个集合上创建一个游标，然后用另一个集合中的数据更新每个文档。
当我在本地数据库上运行它时，它会在大约 15 秒内完成，但在托管数据库上，它会运行超过 45 分钟。

db.col1.find().forEach(function(doc) {
    db.col2.findAndModify(
        {
            query: {attr1: doc.attr1},
            update: { $push: {attr2: doc.attr2},
            upsert: true
        });
    });

因此，为了处理此脚本，客户端和服务器之间显然存在网络开销。有没有办法保持所有服务器端的处理？我看过服务器端 javascript，但从我读到的here ，这不是推荐的做法。

最佳答案

在本地，您几乎没有网络开销。没有干扰，没有路由器，没有交换机，没有带宽限制。另外，在大多数情况下，您的大容量存储，无论是 SSD 还是 HDD，或多或少都会闲置(除非您倾向于在开发时玩游戏。)因此，当需要大量 IO 功能的操作开始时，它是可用的。

当您从本地 shell 对服务器运行脚本时，会发生以下情况。

db.col1.find().forEach 将从未知介质(很可能是可用 IO 可以在许多<之间共享的 hdd)读取整个集合/em=""> 实例)。然后文件将被传输到您的本地 shell。与到本地主机的连接相比，每个文档检索都经过几十个跃点，每个跃点都增加了少量的延迟。大概有相当多的文件，这加起来。不要忘记完整文档是通过网络发送的，因为您没有使用投影来限制返回到 attr1 和 attr2 的字段.外部带宽当然比连接到 localhost 慢。
db.col2.findAndModify 对于每个文档，执行一次查询。同样，共享 IO 可能会降低性能。
{ query: {attr1: doc.attr1}, update: { $push: {attr2: doc.attr2}, upsert: true} 你确定 attr1是索引，顺便说一句？即使是这样，也不确定索引当前是否在 RAM 中。我们正在谈论共享实例，对吗？很可能你的写操作必须等到它们甚至被 mongod 处理，根据默认的写关注，数据必须成功地应用到 in内存数据在确认之前设置，但是如果将大量操作发送到共享实例，则很可能您的操作是第一个 bazillion 并且在队列中。网络延迟会第二次增加，因为传输到本地 shell 的值需要发回。

你能做什么

首先要确定

使用 projection 将返回值限制为您需要的值:
```
db.col1.find({},{ "_id":0, "attr1":1, "attr2":1 })
```
确保你有 attr1 索引
```
db.col2.ensureIndex( { "attr1":1 } )
```

使用 bulk operations .它们的执行速度要快得多，但代价是出现问题时反馈会减少。

// We can use unordered here, because the operations
// each apply to only a single document
var bulk = db.col2.initializeUnorderedBulkOp()

// A counter we will use for intermediate commits
// We do the intermediate commits in order to keep RAM usage low
var counter = 0

// We limit the result to the values we need
db.col1.find({}.{"_id":0, "attr1":1, "attr2":1 }).forEach(
  function(doc){

    // Find the matching document
    // Update exactly that
    // and if it does not exist, create it
    bulk
      .find({"attr1": doc.attr1})
      .updateOne({ $push: {"attr2": doc.attr2})
      .upsert()

    counter++

    // We have queued 1k operations and can commit them
    // MongoDB would split the bulk ops in batches of 1k operations anyway
    if( counter%1000 == 0 ){
      bulk.execute()
      print("Operations committed: "+counter)
      // Initialize a new batch of operations
      bulk = db.col2.initializeUnorderedBulkOp()
    }

  }
)
// Execute the remaining operations not committed yet.
bulk.execute()
print("Operations committed: "+counter)

关于Mongodb 服务器端与客户端处理，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33349145/

有关Mongodb 服务器端与客户端处理的更多相关文章

ruby - 使用 ruby 和 savon 的 SOAP 服务 - 2
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我
ruby - 具有身份验证的私有(private) Ruby Gem 服务器 - 2
我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时，它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器？这是不可能的吗？谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..
ruby - 如何指定 Rack 处理程序 - 2
Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack
ruby-on-rails - 启动 Rails 服务器时 ImageMagick 的警告 - 2
最近，当我启动我的Rails服务器时，我收到了一长串警告。虽然它不影响我的应用程序，但我想知道如何解决这些警告。我的估计是imagemagick以某种方式被调用了两次？当我在警告前后检查我的git日志时。我想知道如何解决这个问题。-bcrypt-ruby(3.1.2)-better_errors(1.0.1)+bcrypt(3.1.7)+bcrypt-ruby(3.1.5)-bcrypt(>=3.1.3)+better_errors(1.1.0)bcrypt和imagemagick有关系吗？/Users/rbchris/.rbenv/versions/2.0.0-p247/lib/ru
ruby-on-rails - s3_direct_upload 在生产服务器中不工作 - 2
在Rails4.0.2中，我使用s3_direct_upload和aws-sdkgems直接为s3存储桶上传文件。在开发环境中它工作正常，但在生产环境中它会抛出如下错误，ActionView::Template::Error(noimplicitconversionofnilintoString)在View中，create_cv_url,:id=>"s3_uploader",:key=>"cv_uploads/{unique_id}/${filename}",:key_starts_with=>"cv_uploads/",:callback_param=>"cv[direct_uplo
ruby - 用 Ruby 编写一个简单的网络服务器 - 2
我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b
ruby-on-rails - 在 Rails 中调试生产服务器 - 2
您如何在Rails中的实时服务器上进行有效调试，无论是在测试版/生产服务器上？我试过直接在服务器上修改文件，然后重启应用，但是修改好像没有生效，或者需要很长时间(缓存？)我也试过在本地做“脚本/服务器生产”，但是那很慢另一种选择是编码和部署，但效率很低。有人对他们如何有效地做到这一点有任何见解吗？最佳答案我会回答你的问题，即使我不同意这种热修补服务器代码的方式:)首先，你真的确定你已经重启了服务器吗？您可以通过跟踪日志文件来检查它。您更改的代码显示的View可能会被缓存。缓存页面位于tmp/cache文件夹下。您可以尝试手动删除
ruby - 我的 Ruby IRC 机器人没有连接到 IRC 服务器。我究竟做错了什么？ - 2
require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器，我做错了什么？最佳答案失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame
ruby - Rails 开发服务器、PDFKit 和多线程 - 2
我有一个使用PDFKit呈现网页的pdf版本的Rails应用程序。我使用Thin作为开发服务器。问题是当我处于开发模式时。当我使用“bundleexecrailss”启动我的服务器并尝试呈现任何PDF时，整个过程会陷入僵局，因为当您呈现PDF时，会向服务器请求一些额外的资源，如图像和css，看起来只有一个线程.如何配置Rails开发服务器以运行多个工作线程？非常感谢。最佳答案我找到的最简单的解决方案是unicorn.geminstallunicorn创建一个unicorn.conf:worker_processes3然后使用它:
Ruby-vips 图像处理库。有什么好的使用示例吗？ - 2
我对图像处理完全陌生。我对JPEG内部是什么以及它是如何工作一无所知。我想知道，是否可以在某处找到执行以下简单操作的ruby代码:打开jpeg文件。遍历每个像素并将其颜色设置为fx绿色。将结果写入另一个文件。我对如何使用ruby-vips库实现这一点特别感兴趣https://github.com/ender672/ruby-vips我的目标-学习如何使用ruby-vips执行基本的图像处理操作(Gamma校正、亮度、色调……)任何指向比“helloworld”更复杂的工作示例的链接——比如ruby-vips的github页面上的链接，我们将不胜感激!如果有ruby-

Mongodb 服务器端与客户端处理

你能做什么

有关Mongodb 服务器端与客户端处理的更多相关文章

随机推荐