草庐IT

windows - Mongodb 文件分配器需要更多时间

coder 2024-06-19 原文

当 mongodb 在数据目录下创建一个新文件时，它需要更多的时间来创建:

Line 376: Thu Jan 15 18:01:49.407 [FileAllocator] allocating new datafile >\data\db\test.3, filling with zeroes... Line 476: Thu Jan 15 18:03:55.650 [FileAllocator] done allocating datafile >\data\db\test.3, size: 512MB, took 126.242 secs

由于该节点无法与 mongodb 连接后出现以下错误。

{ "error":"{ err: 'connection to [localhost:27017] timed out' }","level":"error","message":"uncaught exception: ","timestamp":"2015-01-15T20:45:03.702Z"}

我的理解是这个错误来自 MongoMQ 库。我不确定我该如何处理。任何人都可以帮助解决这个问题。

最佳答案

Windows 答案

如果您使用的是 Windows 7 或 Windows Server 2008，可能适用于此的最明显的问题。这些操作系统的问题 (SERVER-8480)，可以通过应用 this hotfix 来解决。意味着 MongoDB 分配的数据文件必须用零填充。

与普通方法相比，这是一个漫长的过程。不幸的是，即使安装了修补程序，版本 2.6 和 2.4 MongoDB 假设问题仍然存在于 Windows 7 或 Server 2008 上并且无论如何填充为零。 2.8+ 版本通过专门检测修补程序并恢复为非零填充来修复该问题。

为了让您了解其中的区别，下面是 Windows 7 上 2.8.0-rc5(检测修复)的示例日志行:

2015-01-22T16:56:51.749+0000 I STORAGE  [FileAllocator] done allocating datafile E:\data\db\280\test.2, size: 2047MB,  took 0.016 secs

下面是来自同一台机器的示例日志行，使用版本 2.6.5 执行相同的分配:

2015-01-22T16:47:33.762+0000 [FileAllocator] done allocating datafile E:\data\db\265\test.2, size: 2047MB,  took 112.071 secs

这是 112.071 秒对 0.016 秒。如果分配给您带来问题，Windows 8/2012 或 2.8+(一旦发布，当然安装了修补程序)似乎是解决问题的方法。

Windows 上 2.6.4 之前的 MongoDB 版本还有几个更常见的已知问题，最显着的是 SERVER-13729和 SERVER-13681已在 2.6.4 中解决。

其余问题正在 SERVER-12401 中跟踪并且依赖于 this hotfix来自 Microsoft 以改进操作系统对内存映射文件的刷新。不幸的是，该修补程序仅适用于 Windows 8 和 2012，还不适用于 Windows 7 和 2008。

因此，请确保您至少使用 2.6.4+，如果可能，请使用 Windows 8 或 2012。比较远程存储与本地磁盘上的任何性能以确定这是否是影响因素可能也很有帮助.

Linux 答案

(保留以防其他人在使用 Linux 时出现在这里)

如果您使用受支持的文件系统，这应该只需要几毫秒。我怀疑您正在使用其他东西(也许是 ext3？)，或者可能使用的是非常旧的 Linux 版本。

支持的文件系统使用fallocate()分配数据文件，这是非常快的。如果不支持，则必须通过填充零来分配文件，这将花费很长时间。

即使是这样，用 126 秒从零填充一个 512MB 的文件也非常慢，这表明磁盘速度慢/损坏，或者超额订阅/饱和并且难以跟上。

如果您想评估 MongoDB 之外的分配，我已经为 pre-allocate data files for MongoDB 编写了一个小的 bash 脚本(用于测试目的)，它使用上述 fallocate()并在我的测试系统上以毫秒为单位完成多个千兆字节。

关于windows - Mongodb 文件分配器需要更多时间，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28082634/

windowsMongodbnoreferrernoopenernofollow

有关windows - Mongodb 文件分配器需要更多时间的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  4. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  5. ruby - 我需要将 Bundler 本身添加到 Gemfile 中吗？ - 2

    当我使用Bundler时，是否需要在我的Gemfile中将其列为依赖项？毕竟，我的代码中有些地方需要它。例如，当我进行Bundler设置时:require"bundler/setup" 最佳答案 没有。您可以尝试，但首先您必须用鞋带将自己抬离地面。 关于ruby-我需要将Bundler本身添加到Gemfile中吗？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/4758609/

  6. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  7. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  8. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  9. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  10. ruby - capybara field.has_css?匹配器 - 2

    我在MiniTest::Spec和Capybara中使用以下规范:find_field('Email').must_have_css('[autofocus]')检查名为“电子邮件”的字段是否具有autofocus属性。doc说如下:has_css?(path,options={})ChecksifagivenCSSselectorisonthepageorcurrentnode.据我了解，字段“Email”是一个节点，因此调用must_have_css绝对有效!我做错了什么？ 最佳答案 通过JonasNicklas得到了答案:No

随机推荐