草庐IT

mongodb - 针对不同的排序过滤条件应该创建哪些MongoDB索引来提高性能？

coder 2023-10-28 原文

我有 MongoDB 集合，其中包含约 100,000,000 条记录。

在网站上，用户可以使用“细化搜索”功能搜索这些记录，他们可以在其中按多个条件进行筛选:

  • 按国家、州、地区划分；
  • 按价格范围；
  • 按行业划分；

此外，他们还可以查看排序的搜索结果:

  • 按标题(升序/降序)
  • 按价格(升序/降序)
  • 按 bestMatch 字段。

我需要创建索引以避免对上述任何组合进行全面扫描(因为用户使用大部分组合)。正在关注Equality-Sort-Range rule为了创建索引，我必须创建很多索引:

所有过滤器组合×所有排序×所有范围过滤器，如下所示:

country_title
state_title
region_title
title_price
industry_title
country_title_price
country_industry_title
state_industry_title
...
country_price
state_price
region_price
...
country_bestMatch
state_bestMatch
region_bestMatch
...

实际上，我有更多的标准(包括相等性和范围)和更多的排序。例如，我有多个价格字段，用户可以按任何价格排序，因此我必须为每个价格字段创建所有过滤索引，以防用户按该价格排序。

我们使用 MongoDB 4.0.9，目前只有一台服务器。

在我进行排序之前，它更容易，至少我可以有一个像 country_state_region 这样的复合索引，并且在搜索区域时始终在查询中包含国家和州。但是最后有了排序字段，我不能再这样做了——我必须为所有排序组合的位置(国家/州/地区)创建所有不同的索引。

此外，并非所有产品都有价格，所以我不能只按 price 字段排序。相反，我必须创建两个索引:{hasPrice: -1, price: 1} 和 {hasPrice: -1, price: -1}(这里是 hasPrice为 -1，无论价格排序方向如何，hasPrice=true 的记录始终排在第一位)。

目前，我使用 NodeJS 代码生成类似于以下内容的索引(这是简化的示例):

for (const filterFields of getAllCombinationsOf(['country', 'state', 'region', 'industry', 'price'])) {
    for (const sortingField of ['name', 'price', 'bestMatch']) {
        const index = {
            ...(_.fromPairs(filterFields.map(x => [x, 1]))),
            [sortingField]: 1
        };
        await collection.ensureIndex(index);
    }
}

因此，上面的代码生成了 90 多个索引。而在我的实际任务中，这个数字更多。

有没有可能在不降低查询性能的情况下以某种方式减少索引的数量？

谢谢!

最佳答案

首先，在 MongoDB 中(引用:https://docs.mongodb.com/manual/reference/limits/)，单个集合最多只能有 64 个索引。此外，您永远不应该创建 64 个索引，除非没有写入或非常少。

是否有可能在不降低查询性能的情况下以某种方式减少索引数量？ 在不牺牲功能和查询性能的情况下，您不能。

您可以做的几件事:(假设您使用分页显示结果)

  1. 在每一列上创建一个单独的(非复合的)索引，让 MongoDB 执行计划程序根据它拥有的元信息(基数、数字等)选择索引。当然，性能会受到影响。

  2. 根据您的判断和一些分析，仅为最常使用的组合创建复合索引。

  3. 最重要 - 在创建复合索引时，您可以放弃对列进行排序。假设您正在根据行业进行过滤并根据价格进行排序。如果您有复合指数(行业、价格)，那么一切都会正常进行。但是，如果您只有行业索引(假设分页结果)，那么前几页的查询速度会非常快，但随着您进入下一页，查询速度会不断下降。通常，用户不会在 5-6 页后导航。此外，您必须记住对于较大的跳过值，查询将开始失败，因为排序的 32mb 内存限制。这可以通过启用 allowDiskUse 的聚合(而不是查询)来克服。

  4. 检查键集分页(也称为搜索方法)是否可以在您的用例中使用。

关于mongodb - 针对不同的排序过滤条件应该创建哪些MongoDB索引来提高性能？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/57469606/

引来mongodbstrongcodepricesortingquery-optimizationmongodb-indexes

有关mongodb - 针对不同的排序过滤条件应该创建哪些MongoDB索引来提高性能？的更多相关文章

  1. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣，我很好奇如何按顺序创建PI，而不是在过程结果之后生成数字，而是让数字在过程本身生成时显示。如果是这种情况，那么数字可以自行产生，我可以对以前看到的数字实现垃圾收集，从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法，类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  2. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  3. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  4. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本，我按照提供的说明安装了arubagem。它在我的Gemfile中，我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作，我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了，但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  5. ruby-on-rails - 无法使用 Rails 3.2 创建插件？ - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject)，但我没有脚本/生成，只有脚本/rails，当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗？没有这个命令可以创建插件吗？PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布，插件生成器已经被移除。查看变更日志here.现在

  6. ruby - 如何使用 RSpec::Core::RakeTask 创建 RSpec Rake 任务？ - 2

    如何使用RSpec::Core::RakeTask初始化RSpecRake任务？require'rspec/core/rake_task'RSpec::Core::RakeTask.newdo|t|#whatdoIputinhere?endInitialize函数记录在http://rubydoc.info/github/rspec/rspec-core/RSpec/Core/RakeTask#initialize-instance_method没有很好的记录；它只是说:-(RakeTask)initialize(*args,&task_block)AnewinstanceofRake

  7. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串？ - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串？SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复？

  8. ruby - 有人可以帮助解释类创建的 post_initialize 回调吗 (Sandi Metz) - 2

    我正在阅读SandiMetz的POODR，并且遇到了一个我不太了解的编码原则。这是代码:classBicycleattr_reader:size,:chain,:tire_sizedefinitialize(args={})@size=args[:size]||1@chain=args[:chain]||2@tire_size=args[:tire_size]||3post_initialize(args)endendclassMountainBike此代码将为其各自的属性输出1,2,3,4,5。我不明白的是查找方法。当一辆山地自行车被实例化时，因为它没有自己的initialize方法

  9. ruby - 使用多个数组创建计数 - 2

    我正在尝试按0-9和a-z的顺序创建数字和字母列表。我有一组值value_array=['0','1','2','3','4','5','6','7','8','9','a','b'，'光盘'，'e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','','u','v','w','x','y','z']和一个组合列表的数组，按顺序，这些数字可以产生x个字符，比方说三个list_array=[]和一个当前字母和数字组合的数组(在将它插入列表数组之前我会把它变成一个字符串，]current_combo['0','0','0']

  10. java - 我的模型类或其他类中应该有逻辑吗 - 2

    我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

随机推荐