草庐IT

mongodb - MongoDB + C# 中不同写入问题的奇怪性能测试结果

coder 2023-10-28 原文

在实际投入使用之前,我正在尝试测试 MongoDB 的性能。我正在尝试查看每秒可以更新多少文档。我正在使用 C#(Mono + Ubuntu)MongoDB Driver v1.9 和 MongoDB v2.4.6。

我相信对写入性能最有效的 MongoDB 参数之一是 Write Concern。正如 documentation 中所述,最宽松的写入关注值是 -1,然后是 0,最后 1 是最慢的。

搜索后我发现我可以像这样在连接字符串中嵌入 C# 中设置写关注点:

var client = new MongoClient("mongodb://localhost/?w=-1");

以下是我为 w 设置不同值的结果:

  1. 当我将 w 设置为 1 时,可以获得最快的结果!
  2. 设置w=0w=1慢28倍!
  3. w=-1 将导致抛出错误消息 W value must be greater than or equal to zero!

有人对这些结果有任何解释吗?我做错了什么吗?

[更新]

我觉得设置测试程序是很有必要的,也许里面有什么隐藏的东西。所以这里是:

我有一个数据库,单个集合中包含 100M 文档。每个文档都是使用 mongo shell 创建的:

{ "counter" : 0, "last_update" : new Date() }

这是 db.collection.stats(); 的输出:

{
    "ns" : "test.collection",
    "count" : 100000100,
    "size" : 6400006560,
    "avgObjSize" : 64.0000015999984,
    "storageSize" : 8683839472,
    "numExtents" : 27,
    "nindexes" : 2,
    "lastExtentSize" : 2146426864,
    "paddingFactor" : 1,
    "systemFlags" : 1,
    "userFlags" : 0,
    "totalIndexSize" : 5769582448,
    "indexSizes" : {
        "_id_" : 3251652432,
        "last_update_1" : 2517930016
    },
    "ok" : 1
}

Ubuntu 12.04 中使用 Mono 3.2.1 我编写了一个连接到 MongoDBC# 项目并尝试像这样更新文档:

FindAndModifyArgs args = new FindAndModifyArgs();
args.SortBy = SortBy.Ascending("last_update");
args.Update = Update<Entity>.Set(e => e.last_update, DateTime.Now);
args.Fields = Fields.Include(new string[] { "counter", "_id" });
var m = collection.FindAndModify(args);

Entity ent = m.GetModifiedDocumentAs<Entity>();
var query = Query<Entity>.EQ(e => e.Id, ent.Id);
var update = Update<Entity>.Set(e => e.counter, ent.counter+1);
collection.Update(query, update);

总结这段代码的作用;它选择最旧的 last_update 并将 last_update 设置为当前日期,同时它还会递增其计数器(更新分两步进行)。

我为四种不同类型的 Write Concernsw=-1w=0 中的每一种都运行了这段代码 10k >w=1w=1&j=true。当 w=-1 抛出异常并且没有给出任何结果时,以下是其余部分的结果:

由于该图有点难读,下面是相同的数字结果:

            w=-1    w=0                 w=1                 w=1&j=true
Average     N/A     244.0948611492      7064.5143923477     238.1846428156
STDEV       N/A     1.7787457992        511.892765742       21.0230097306

问题是:有没有人能解释为什么 w=0w=1 慢得多以及为什么 w=-1 不支持?

[更新]

我还测试了 RequestStart在我的代码中是这样的:

using (server.RequestStart(database)) {
    FindAndModifyArgs args = new FindAndModifyArgs();
    args.SortBy = SortBy.Ascending("last_update");
    args.Update = Update<Entity>.Set(e => e.last_update, DateTime.Now);
    args.Fields = Fields.Include(new string[] { "counter", "_id" });
    var m = collection.FindAndModify(args);

    Entity ent = m.GetModifiedDocumentAs<Entity>();
    var query = Query<Entity>.EQ(e => e.Id, ent.Id);
    var update = Update<Entity>.Set(e => e.counter, ent.counter+1);
    collection.Update(query, update);
}

它对任何结果都没有显着影响,从来没有。

最佳答案

要解决 w=-1 错误,您可能需要使用 WriteConcern.Unacknowledged property直接。

您的测试代码可能会遇到一致性问题。查看RequestStart/RequestDone将查询放到同一个连接上。根据文档:

An example of when this might be necessary is when a series of Inserts are called in rapid succession with a WriteConcern of w=0, and you want to query that data is in a consistent manner immediately thereafter (with a WriteConcern of w=0, the writes can queue up at the server and might not be immediately visible to other connections

Aphyr 做了 a good blog post关于 MongoDB 写关注的各种设置如何影响其近似一致性。它可能会帮助您解决此问题。

最后,您可以在build.ps1 中找到您的驱动程序版本。

关于mongodb - MongoDB + C# 中不同写入问题的奇怪性能测试结果,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19067189/

有关mongodb - MongoDB + C# 中不同写入问题的奇怪性能测试结果的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  2. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库,所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  3. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  4. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  5. ruby - Ruby 的 Hash 在比较键时使用哪种相等性测试? - 2

    我有一个围绕一些对象的包装类,我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。

  6. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  7. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码,如下所示:Something.createdo|x|x.foo=barend我想编写一个测试,它使用double代替block参数x,这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗? 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  8. Ruby 写入和读取对象到文件 - 2

    好的,所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象?所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是,我该如何再次将这个id变回一个对象?我知道我可以自己挑选信息并制作一个接受该信

  9. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止,这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  10. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手;我正在运行一些rspec测试,但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音?我仔细检查了环境是否设置为:test,这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

随机推荐