草庐IT

MongoDB作为文件存储

coder 2023-05-04 原文

我正在努力寻找为大文件创建可扩展存储的最佳解决方案。文件大小可以从 1-2 兆字节到 500-600 兆字节不等。

我找到了一些关于 Hadoop 和它的 HDFS 的信息，但它看起来有点复杂，因为我不需要任何 Map/Reduce 作业和许多其他功能。现在我正在考虑使用 MongoDB 和它的 GridFS 作为文件存储解决方案。

现在是问题:

  1. 当我尝试写几个文件时，gridfs 会发生什么 同时。读/写操作会有任何锁吗？ (我只会将它用作文件存储)
  2. gridfs 中的文件是否会缓存在 ram 中，以及它将如何影响读写性能？
  3. 也许还有其他一些解决方案可以更有效地解决我的问题？

谢谢。

最佳答案

这里我只能回答MongoDB，我不会假装我对HDFS和其他类似技术很了解。

GridFs 实现完全是驱动程序本身的客户端。这意味着 MongoDB 本身没有特殊的加载或理解文件服务的上下文，实际上 MongoDB 本身甚至不理解它们是文件 (http://docs.mongodb.org/manual/applications/gridfs/)。

这意味着查询 files 或 chunks 集合的任何部分将导致与任何其他查询相同的过程，即加载它的数据需要进入您的工作集(http://en.wikipedia.org/wiki/Working_set)，它表示 MongoDB 在给定时间范围内所需的一组数据(或当时所有加载的数据)以保持最佳性能。它通过将其分页到 RAM 中来做到这一点(从技术上讲，操作系统确实如此)。

要考虑的另一点是这是驱动程序实现的。这意味着规范可能会有所不同，但是，我认为不会。所有驱动程序都允许您从 files 集合中查询一组文档，该集合仅包含文件元数据，允许您稍后从 chunks 集合中提供文件本身一个查询。

但这不是重要的事情，你想提供文件本身，包括它的数据；这意味着您将把 files 集合及其后续 chunks 集合加载到您的工作集中。

考虑到这一点，我们已经遇到了第一个障碍:

Will files from gridfs be cached in ram and how it will affect read-write perfomance?

直接从 RAM 读取小文件的性能可能很棒；写的也一样好。

对于较大的文件，并非如此。大多数计算机不会有 600 GB 的 RAM，事实上，很可能在单个 mongod 实例上容纳单个文件的 600 GB 分区。这会产生一个问题，因为该文件需要适合您的工作集才能提供服务，但它不可能比您的 RAM 大；此时，您可能会遇到页面抖动( http://en.wikipedia.org/wiki/Thrashing_%28computer_science%29 )，服务器只是 24/7 尝试加载文件时出现页面错误。这里的写法也好不到哪里去。

解决此问题的唯一方法是开始将单个文件放在多个分片 :\.

注意:要考虑的另一件事是，chunks“ block ”的默认平均大小为 256KB，因此对于 600GB 的文件来说，这是很多文档。此设置在大多数驱动程序中都是可操作的。

What will happen with gridfs when i try to write few files concurrently. Will there be any lock for read/write operations? (I will use it only as file storage)

GridFS 只是一个规范，它使用与任何其他集合相同的锁，包括数据库级别(2.2+)或全局级别(2.2 之前)的读写锁。两者也确实相互干扰，即如何确保对正在写入的文档进行一致的读取？

话虽如此，存在争用的可能性取决于您的场景细节、流量、并发写入/读取的数量以及我们不知道的许多其他因素。

Maybe there are some other solutions that can solve my problem more efficiently?

我个人发现，减少冗余格式的 S3(如 @mluggy 所说)最适合在 MongoDB 中存储有关文件的元数据的一部分，就像使用 GridFS 但没有 block 集合，让 S3 处理所有分布、备份和其他内容。

希望我已经清楚了，希望对您有所帮助。

编辑:和我不小心说的不同，MongoDB没有集合级锁，它是数据库级锁。

关于MongoDB作为文件存储，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15030532/

MongoDB作为code的sectionstoragegridfsbigdata

有关MongoDB作为文件存储的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  4. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  5. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  6. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  7. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  8. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  9. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码，如下所示:Something.createdo|x|x.foo=barend我想编写一个测试，它使用double代替block参数x，这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗？ 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  10. Ruby 写入和读取对象到文件 - 2

    好的，所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象？所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是，我该如何再次将这个id变回一个对象？我知道我可以自己挑选信息并制作一个接受该信

随机推荐