我有一个可能会非常大的收藏。现在我知道 MongoDB 并没有真正遇到这个问题，但我真的不知道如何着手设计一个可以轻松处理非常大的数据集的模式。因此，我将概述问题。
我们正在为客户收集大量数据。基本上，当我们收集这些数据时，它被表示为一个三元组，比方说 (a, b, c)，其中 b 和 c 分别是集合 B 和 C 的成员。在这种特殊情况下，我们知道 B 和 C 集不会随时间增长太多。对于我们目前的客户，我们谈论的是约 200,000 名成员(member)。但是，A 集是随着时间不断增长的集。目前我们每个客户大约有 2,000,000 名成员，但这个数字将会增长(可能会很快)。此外，b->a 和 c->a 之间存在 1->n 关系。
此数据集的工作负载基本上分为 3 个用例。集合将定期更新，其中 A 将获得最多的写入，B 和 C 将获得一些，但不是很多。第二个用例是随机访问 B，然后聚合 C 中与 b\in B 相关的一些文档。最后一个用例基本上是从 A 和 B 流式传输一个大的子集以生成一些新数据。
我们面临的问题是索引越来越大。目前我们有大约 8 个小客户的测试设置，目前总数据集大小约为 15GB，索引运行在大约 3GB 到 4GB 之间。这里的问题是我们的数据集中实际上没有任何热点区域。它基本上会在所有文档中平均分配负载。
基本上，我们提出了 2 个选项来执行此操作。我在上面描述的那个，所有客户的所有数据都堆积在一个集合中。这意味着我们必须在某个字段中创建一个索引，将该集合中的文档链接到特定客户。
另一种选择是将所有 b 和 c 放在一起(这些集合相对较小)，但将 C 集合分开，每个客户一个。我可以想象最后一个解决方案有点难以管理，但由于我们很少同时访问多个客户的数据，因此它可以防止内存问题。 MongoDB 将能够将客户索引加载到内存中并从那里运行。
你对此有何看法？
P.S.:我希望这不是太含糊，如果有任何不清楚的地方，我会详细介绍。
最佳答案
这听起来像是一个更大的集合(如果我没听错的话是 A)，可以合理地放入它自己的数据库中。我说的是数据库而不是集合，因为现在 2.2 发布了，您可能希望尽量减少更繁忙的数据库与其他数据库之间的锁争用，为此最好使用一个单独的数据库(2.2 引入了数据库级锁定)。当然，这是从单个副本集模型来看的。
此外，索引大小听起来与您的数据大小有点不成比例 - 您确定它们都是必需的吗？修剪不需要的索引，组合和使用复合索引可能会显着减少您在索引增长方面遇到的痛苦(它也可能使更新和插入更有效率)。这确实需要具体细节，可能属于另一个问题，或者可能属于 mongodb 用户组中的一个线程，以便多只眼睛可以查看并提出建议。
如果我们考虑分片的可能性，那么真正重要的部分是选择一个分片键，以确保在分片上保留您经常需要一起访问的部分的位置。这将更适合于单个分片集合(在多个相关分片集合中保持局部性将非常棘手，除非您以某种方式手动拆分和平衡 block )。分片使您能够在索引达到单个实例限制等时水平扩展，但这将使分片键决策变得非常重要。
同样，选择分片键的细节超出了这个更一般性讨论的范围，类似于我上面提到的潜在索引审查。
关于python - 将大型收藏分成较小的收藏？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12210307/
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
我希望将Favorite模型添加到我的User和Link模型。业务逻辑用户可以有多个链接(即可以添加多个链接)用户可以收藏多个链接(他们自己的或其他用户的)一个链接可以被多个用户收藏，但只有一个所有者我对如何为这种关联建模以及在模型就位后如何创建用户收藏夹感到困惑？classUser 最佳答案 下面的数据模型怎么样:classUser:destroyhas_many:favorite_links,:through=>:favorites,:source=>:linkendclassLink:destroyhas_many:favor
这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Pythonconditionalassignmentoperator对于这样一个简单的问题表示歉意，但是谷歌搜索||=并不是很有帮助；)Python中是否有与Ruby和Perl中的||=语句等效的语句？例如:foo="hey"foo||="what"#assignfooifit'sundefined#fooisstill"hey"bar||="yeah"#baris"yeah"另外，类似这样的东西的通用术语是什么？条件分配是我的第一个猜测，但Wikipediapage跟我想的不太一样。
什么是ruby的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht
华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o
我想解析一个已经存在的.mid文件，改变它的乐器，例如从“acousticgrandpiano”到“violin”，然后将它保存回去或作为另一个.mid文件。根据我在文档中看到的内容，该乐器通过program_change或patch_change指令进行了更改，但我找不到任何在已经存在的MIDI文件中执行此操作的库.他们似乎都只支持从头开始创建的MIDI文件。 最佳答案 MIDIpackage会为您完成此操作，但具体方法取决于midi文件的原始内容。一个MIDI文件由一个或多个音轨组成，每个音轨是十六个channel中任何一个上的
本文主要介绍在使用Selenium进行自动化测试或者任务时，对于使用了iframe的页面，如何定位iframe中的元素文章目录场景描述解决方案具体代码场景描述当我们在使用Selenium进行自动化测试的时候，可能会遇到一些界面或者窗体是使用HTML的iframe标签进行承载的。对于iframe中的标签，如果直接查找是无法找到的，会抛出没有找到元素的异常。比如近在咫尺的例子就是，CSDN的登录窗体就是使用的iframe，大家可以尝试通过F12开发者模式查看到的tag_name,class_name,id或者xpath来定位中的页面元素，会抛出NoSuchElementException异常。解决
2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p
ValidPalindromeGivenastring,determineifitisapalindrome,consideringonlyalphanumericcharactersandignoringcases. [#125]Example:"Aman,aplan,acanal:Panama"isapalindrome."raceacar"isnotapalindrome.Haveyouconsiderthatthestringmightbeempty?Thisisagoodquestiontoaskduringaninterview.Forthepurposeofthisproblem
是否可以在PyYAML或Ruby的Psych引擎中禁用创建anchor和引用(并有效地显式列出冗余数据)？也许我在网上搜索时遗漏了一些东西，但在Psych中似乎没有太多可用的选项，而且我也无法确定PyYAML是否允许这样做.基本原理是我必须序列化一些数据并将其以可读的形式传递给一个不是真正的技术同事进行手动验证。有些数据是多余的，但我需要以最明确的方式列出它们以提高可读性(anchor和引用是提高效率的好概念，但不是人类可读性)。Ruby和Python是我选择的工具，但如果有其他一些相当简单的方法来“展开”YAML文档，它可能就可以了。 最佳答案
