草庐IT

MongoDB - 通过自定义 _id 字段上的散列索引进行分片收集

coder 2023-11-02 原文

问题:如何根据自定义 _id 字段的散列索引对集合进行分片？

问题描述:

  • 我需要在 MongoDB 中存储 url => my_value 对
  • 网址必须是唯一的
  • 我将执行大量查询来检查，如果我已经通过匹配 {_id : md5(url_to_check)} 拥有具有此类 url 的文档
  • 集合会很大(数十亿对 url => my_value)，所以我想按 url 对它进行分片。

解决方案，我认为:

创建包含这些字段的集合:

  • _id : md5(url)
  • 网址:网址
  • 值:我的值 我不创建任何索引。 _id 默认由 mongo 索引

问题:

  • 我想按 _id 对集合进行分片。散列共享 key 是完美的，但我是否必须创建散列分片 key 或者我可以按常规 _id key 分片？我插入到 _id 已经自己计算的 md5。
  • 您如何看待在 _id 中存储未散列的 url 并通过它进行查询？我会使用更少的空间(不必存储 md5(url))，但分片将在更大的文本字段上进行，索引将在更大的字符串上(通常 url 有超过 32 个字符串)
  • 解决此类问题的最佳方案是什么？对我来说最好的方法是快速查询并根据需要使用更少的索引空间？

最佳答案

I would like to shard collection by _id. Hashed shared key would be perfect, but do i have to create hashed shard key or can i just shard by regular _id key? I insert to _id already computed md5 by myself.

A hashed shard key旨在与单调增加的字段(如 ObjectId() 值或时间戳)一起使用，以便在分片之间提供更均匀的写入负载分布。如果您已经散列了您的 _id 值(或您想要分片的字段)，您可以使用它作为您的分片键而不是请求服务器计算它你。

仅供引用，MongoDB(截至 2.6)使用 md5计算散列分片键，因此您已经在应用程序代码中有效地完成了相同的工作，并且更有效地使用了 _id 索引。对于预散列 _id 值的用例，与两个索引(默认索引 {_id:1} 加上一个额外的散列索引 {_id:hashed})。

What do you think about storing in _id not-hashed url and query by it? I would use less space (don't have to storedmd5(url)), but sharding will by on bigger text field and index will be on biger string (usualy url has more than 32 sings)

如果索引大小是一个问题，较小的预计算值肯定会节省您在 _id 索引中的空间(特别是如果您正在存储数十亿个 url 并且只想通过 md5 哈希查找文档) .

What is it the best solution to solve such problem? Best means for me fast queries and use as less space for indexes, as it is required?

最佳解决方案非常主观，但鉴于您分享的用例，这似乎是一个合理的解决方案。

值得注意的是，任何哈希命名空间都可能存在冲突，因此您可能需要考虑 collision resistance相对于命名空间的哈希算法。尽管冲突应该极不可能发生，但将散列值作为您的 _id 您将只存储观察到的任何散列冲突的第一个 url(或者必须添加一些效率较低的内容，例如文档 url 与您期望的原始网址)。

关于MongoDB - 通过自定义 _id 字段上的散列索引进行分片收集，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24943603/

自定MongoDBcodeurlsectionindexingsharding

有关MongoDB - 通过自定义 _id 字段上的散列索引进行分片收集的更多相关文章

  1. ruby - Facter::Util::Uptime:Module 的未定义方法 get_uptime (NoMethodError) - 2

    我正在尝试设置一个puppet节点，但ruby​​gems似乎不正常。如果我通过它自己的二进制文件(/usr/lib/ruby/gems/1.8/gems/facter-1.5.8/bin/facter)在cli上运行facter，它工作正常，但如果我通过由ruby​​gems(/usr/bin/facter)安装的二进制文件，它抛出:/usr/lib/ruby/1.8/facter/uptime.rb:11:undefinedmethod`get_uptime'forFacter::Util::Uptime:Module(NoMethodError)from/usr/lib/ruby

  2. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  3. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  4. ruby - 通过 erb 模板输出 ruby​​ 数组 - 2

    我正在使用puppet为ruby​​程序提供一组常量。我需要提供一组主机名，我的程序将对其进行迭代。在我之前使用的bash脚本中，我只是将它作为一个puppet变量hosts=>"host1,host2"我将其提供给bash脚本作为HOSTS=显然这对ruby​​不太适用——我需要它的格式hosts=["host1","host2"]自从phosts和putsmy_array.inspect提供输出["host1","host2"]我希望使用其中之一。不幸的是，我终其一生都无法弄清楚如何让它发挥作用。我尝试了以下各项:我发现某处他们指出我需要在函数调用前放置“function_”……这

  5. ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2

    我有一个表单，其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在？solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss

  6. ruby-on-rails - form_for 中不在模型中的自定义字段 - 2

    我想向我的Controller传递一个参数，它是一个简单的复选框，但我不知道如何在模型的form_for中引入它，这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框，但我该怎么做，模型中没有一个对象，而是一个要检查的对象，以便在Controller中创建一个ifelse，如果没有检查，请帮助我，非常感谢,谢谢

  7. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切，所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时，我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗？我正在使用OSX并安装了rvm。 最佳答案 或者，您可以只使用“require”，它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

  8. ruby - 通过 ruby​​ 进程共享变量 - 2

    我正在编写一个gem，我必须在其中fork两个启动两个webrick服务器的进程。我想通过基类的类方法启动这个服务器，因为应该只有这两个服务器在运行，而不是多个。在运行时，我想调用这两个服务器上的一些方法来更改变量。我的问题是，我无法通过基类的类方法访问fork的实例变量。此外，我不能在我的基类中使用线程，因为在幕后我正在使用另一个不是线程安全的库。所以我必须将每个服务器派生到它自己的进程。我用类变量试过了，比如@@server。但是当我试图通过基类访问这个变量时，它是nil。我读到在Ruby中不可能在分支之间共享类变量，对吗？那么，还有其他解决办法吗？我考虑过使用单例，但我不确定这是

  9. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  10. ruby-on-rails - Enumerator.new 如何处理已通过的 block ？ - 2

    我在理解Enumerator.new方法的工作原理时遇到了一些困难。假设文档中的示例:fib=Enumerator.newdo|y|a=b=1loopdoy[1,1,2,3,5,8,13,21,34,55]循环中断条件在哪里，它如何知道循环应该迭代多少次(因为它没有任何明确的中断条件并且看起来像无限循环)？ 最佳答案 Enumerator使用Fibers在内部。您的示例等效于:require'fiber'fiber=Fiber.newdoa=b=1loopdoFiber.yieldaa,b=b,a+bendend10.times.m

随机推荐