草庐IT

MongoDB 在一台机器上按日期分片

coder 2023-11-03 原文

我们从一个单一的 mongodb 开始,但没有一个集合增长到 ~300GB。该集合包含具有日期字段的对象。但大多数情况下,我们只需要查询最近的对象,然后查询历史一次。所以我的问题是:是否可以按日期字段在一台服务器上分片这个集合?更明确地说,我想将较新的对象分片到一个节点中,将较旧的对象分片到另一个节点中。而不是将所有对象平均分布在 n 个分片上。

是否有关于如何将现有的单个数据库(没有任何副本集)分片成分片集群的教程?

最佳答案

从技术上讲,您不需要对内容进行分片,只需要为您的领域编制索引。是的,您可以在日期字段上创建索引,您可以通过访问查询计划 db.collection.explain("executionStats")

看到它会受到尊重

但是,选择片键非常重要。选择分片键时需要考虑的事情很少

- Write scaling (high cardinality, Randomization)
- Query Isolation. (read)

选择日期字段实际上提供了非常高的基数,但是它无法进行随机化,因此所有文档都存储在单个分片中,因此限制了系统的写入容量。出于同样的原因,不鼓励将 ObjectId 用作分片键。

http://docs.mongodb.org/manual/core/sharding-shard-key/ 以上链接的内容.. “MongoDB 在文档创建时生成 ObjectId 值以生成对象的唯一标识符。但是,此值中数据的最高有效位表示时间戳,这意味着它们以规则且可预测的模式递增。即使这个值具有高基数,当使用这个、任何日期或其他单调递增的数字作为分片键时,所有插入操作都会将数据存储到单个 block 中,因此,单个分片。因此,写入容量这个分片将定义集群的有效写入容量。”

关于MongoDB 在一台机器上按日期分片,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30955756/

有关MongoDB 在一台机器上按日期分片的更多相关文章

  1. 怎样用一台手机做自媒体? - 2

    其实做自媒体的成本并不高,入门只需要一部手机即可!在手机上找视频素材、使用手机剪辑视频、最后使用手机发布视频作品获得收益!方法并不难,今天这期内容就来给粉丝们分享一种小方法,每天稳定收益100-300,抓紧点赞收藏!1、找素材(1)使用手机拍摄自己喜欢的经典段落,使用程序把文案内容提取出来(2)也可以在豆瓣、知乎、微博等网站中找一些自己需要的文案素材(3)把文案进行润色修改,可以加入一些自己的观点(4)视频素材可以使用软件中自带的素材,也可以在素材网站中下载完整版的素材2、文案配音(1)把复制好的文案直接导入小程序中(2)调整音色、音调后一键合成音频即可(3)可以选择自己朗读配音,需要花一点时

  2. ruby-on-rails - rvm 和 rbenv 在同一台机器上 - 2

    传统上,我在个人笔记本电脑上使用rbenv进行所有个人项目,没有任何问题并且喜欢它。但是,我需要在工作中开始使用代码库(rails),并且我们在所有工作笔记本电脑上都使用rvm。有什么方法可以让rvm和rbenv快乐地生活在一起,或者我是否应该能够在没有rvm的情况下引导应用程序并只使用rbenv来管理这个repo的本地ruby? 最佳答案 你真的不能让rbenv和rvm共存。使用rvm,它会覆盖“gem”命令,因此会使rbenv变得无用。如果你想对两者都使用rbenv,你必须避免使用gemsets,而是使用bundler来处理依赖

  3. ruby - 在 ruby​​ 中创建文件数组并按日期排序 - 2

    我有一个文件名数组,有什么方法可以按修改日期对这些文件进行排序吗? 最佳答案 您可以将sort_by方法与File.mtime方法结合使用,它返回给定文件的最后修改时间。filenames.sort_by{|filename|File.mtime(filename)} 关于ruby-在ruby​​中创建文件数组并按日期排序,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/47509

  4. ruby - 如何将文件从一台服务器复制到另一台服务器? - 2

    我有一台服务器,其中只有xls日志文件。每个文件为5-15Mb,并且在文件随时添加的意义上是动态的。现在我需要一种使用Ruby执行以下过程的方法。通过将文件名从一台只有日志文件的服务器发送到另一台服务器来复制文件。我需要将服务器密码作为参数传递。一切都在后台发生,由Ruby脚本触发。 最佳答案 查看Net::SCP和Net::SSHgem。第一个让您使用安全副本检索文件,第二个让您轻松找到可用于检索的文件的名称。在Net::SSH中,ssh.exec!将成为您的friend。来自Net::SCP文档:Net::SCPimplemen

  5. ruby - 一个网络服务器上有多个 Ruby 版本? - 2

    理想使用rvm,如果能够在一个网络服务器上拥有多个Rubies,并且通过某种服务器配置,能够在每个项目的基础上将Ruby版本分配给不同的Rails/Sinatra/等应用程序,那将是非常棒的。我从rvm的文档中了解到,Passenger一次只能使用一个Ruby。:(妥协否则,至少能够想出一种方法将项目分配给Ruby1.8或Ruby1.9解释器会很好。我读过使用Nginx作为反向代理允许在同一个盒子上运行Apache和Nginx。那么是否有可能让Apache+Passenger使用一个Ruby,而Nginx+Passenger使用另一个?也许在Nginx中使用Passenger以外的东西

  6. ruby - 如何在 Ruby(不是 Rails)中按日期排序? - 2

    我知道Rails在ActiveRecord中内置了排序方法,但我只是在编写一个普通的旧ruby​​脚本,并且希望按日期对数组中的记录进行排序。日期将存储在多维数组的一个单元格中。解决这个问题的最佳方法是什么,这样我就可以直接执行sort_by_date并指示ASC或DESC?我不必使用sort_by_date方法,但我的想法是能够轻松调用集合上的方法并获得我想要的结果。想法? 最佳答案 是这样的吗?classArraydefsort_by_date(direction="ASC")ifdirection=="ASC"self.sor

  7. ruby-on-rails - 如何在一台服务器上运行多个微型 Rub​​y (Rack) 应用程序? - 2

    我想在我的VPS上运行几个(超过2个)基于Rack的微型应用程序,而VPS已经运行了一个大型Rails应用程序。Rails应用程序使用传统的Unicorn和nginx组合,它需要我VPS上的大部分RAM。我尝试为每个应用程序添加类似的Unicorn配置,这让我得出结论,RAM不足。所以我的问题是:是否可以设置一个小型内存节省服务器,让我可以同时运行多个Sinatra应用程序?更新:以防万一,我不太关心性能。这些应用并非旨在执行任何严肃的工作。更新2:基于与Nginx共享的套接字的方法优于使用端口的方法。谢谢! 最佳答案 我对这个问题

  8. ruby - 如何在 Jekyll 的主页上按日期对帖子进行分组? - 2

    在Jekyll中,我希望我的主页列出按日期分组的最新帖子,如下所示:2013年9月6日发布1后2后32013年9月5日发布1后2基本上,当循环中的帖子与之前处理的日期不同时,我只想吐出一个日期标题。我试图通过测试for循环中的下一篇文章是否与上一篇文章的日期匹配来实现这一点,并且只有在不匹配时才显示日期标题。这是我的Liquid模板的样子:---layout:defaulttitle:HomePage---{%assignthedate=''%}{%forpostinsite.posts%}{%ifthedate!=post.date|date:"%m-%d-%Y"%}{{post.d

  9. ruby-on-rails - 在一个 Rails 应用程序中使用 PostgreSQL 的 MongoDB - 2

    我可以在一个Rails应用程序中同时使用MongoDB和PostgreSQL吗?具体来说,我最终会想要使用像MongoHQ这样的东西。到目前为止,我未能在实验中进行这项工作。令我担心的是,MongoDB文档特别指出我必须禁用ActiveRecord。任何建议将不胜感激。 最佳答案 您无需禁用ActiveRecord即可使用MongoDB。查看Mongoid只需将gem加上任何模型与您现有的任何ActiveRecord模型一起添加。您应该注意到MongoHQ只是MongoDB的托管服务,可以与任何对象文档映射器(ODM)一起使用。更多

  10. ruby - 使用 mongodb/mongoid 运行时更改模型 - 2

    我必须在mongoid模型中添加几个字段,我知道MongoDB没有迁移,但如果我继续而不删除数据库,使rails完全“重新生成”数据库,它不会显示或使用新的领域!去这里最好的方法是什么?有比删除/重新打开mongodb更软的东西吗?提前致谢卢卡 最佳答案 一般来说,应该可以在运行时用新字段更新旧文档。MongoDB中不需要迁移。您可能想编写rake任务以使用新字段和默认值更新旧文档。您可以通过检查那些默认值为nil的新字段来找到这些文档。更新简单风格:如果您使用默认值定义一个新字段,只要您设置了一个新值,就应该始终使用该值:应用程序

随机推荐