草庐IT

mongodb - 如何在 MongoDB 聚合查询中使用 $hint?

coder 2023-05-04 原文

我在 ubuntu 机器上使用 mongo v3.0.1。我有 3 亿行的集合。我根据我的查询偏好创建了两个索引。

当我尝试使用解释运行聚合时,它占用了低效的索引,这就是为什么它需要多花 20-25 秒的时间。有什么方法可以放 $hint,以便我的聚合查询使用适当的索引。

$match 处于我的第一个管道阶段。我有两个索引:

  1. “Host_-1_SiteType_-1”

  2. “访问时间_-1_AccountId_-1_Host_-1_SiteType_-1_Extension_-1_LifeTime_-1”

我的 $match 管道就像:

{ "$match" : {
    "AccountId": accID, 
    "VisitTime": { "$lte" : today, "$gte" : last365Days },
    "$or": [
        { "$and": [
            { "Extension":{ "$in": ["chrome_0","firefox_0"] }},
            { "LifeTime": 0 }
        ]},
        {  "LifeTime": { "$gt": 1000 }}
    ],
    "Host": { "$ne": "localhost" },
    "SiteType" : { "$exists": true },
}

它使用第一个索引,而不是第二个索引。以及第一个索引在 50 秒内花费的时间,而仅使用第二个索引只需要 18 秒。

这是我的一份文件样本:

{ 
    "_id" : "2bc1143c-07e4-4c37-a020-a7485b2802a3", 
    "CreatedDate" : ISODate("2015-07-22T04:05:06.802+0000"), 
    "UpdatedDate" : ISODate("2015-07-22T05:28:26.469+0000"), 
    "AccountId" : accID, 
    "Url" : "http://www.test.com/test.html", 
    "Host" : "test.com", 
    "VisitTime" : ISODate("2014-08-12T18:08:25.813+0000"), 
    "LifeTime" : 789546.01, 
    "Status" : "closed", 
    "LocalTime" : ISODate("2014-08-12T18:08:25.813+0000"), 
    "DeviceId" : "123456789", 
    "Extension" : "firefox_0", 
    "SubSiteType" : "TestSubSite", 
    "SiteType" : "TestSite", 
    "Flag" : "1"
}

这是我的聚合解释:

{
    "stages" : [
        {
            "$cursor" : {
                "query" : {
                    "AccountId" : "accID",
                    "VisitTime" : {
                        "$lte" : "2015-07-25T18:30:00Z",
                        "$gte" : "2014-07-25T18:30:00Z"
                    },
                    "Host" : {
                        "$ne" : "localhost"
                    },
                    "SiteType" : {
                        "$exists" : true
                    },
                    "$or" : [
                        {
                            "$and" : [
                                {
                                    "Extension" : {
                                        "$in" : [
                                            "chrome_0",
                                            "firefox_0"
                                        ]
                                    }
                                },
                                {
                                    "LifeTime" : 0
                                }
                            ]
                        },
                        {
                            "LifeTime" : {
                                "$gt" : 1000
                            }
                        }
                    ]
                },
                "fields" : {
                    "Host" : 1,
                    "_id" : 0
                },
                "queryPlanner" : {
                    "plannerVersion" : 1,
                    "namespace" : "Test",
                    "indexFilterSet" : false,
                    "parsedQuery" : {
                        "$and" : [
                            {
                                "$or" : [
                                    {
                                        "$and" : [
                                            {
                                                "LifeTime" : {
                                                    "$eq" : 0
                                                }
                                            },
                                            {
                                                "Extension" : {
                                                    "$in" : [
                                                        "chrome_0",
                                                        "firefox_0"
                                                    ]
                                                }
                                            }
                                        ]
                                    },
                                    {
                                        "LifeTime" : {
                                            "$gt" : 1000
                                        }
                                    }
                                ]
                            },
                            {
                                "$not" : {
                                    "Host" : {
                                        "$eq" : "localhost"
                                    }
                                }
                            },
                            {
                                "VisitTime" : {
                                    "$lte" : "2015-07-25T18:30:00Z"
                                }
                            },
                            {
                                "AccountId" : {
                                    "$eq" : "accID"
                                }
                            },
                            {
                                "VisitTime" :"2014-07-25T18:30:00Z"

                            },
                            {
                                "SiteType" : {
                                    "$exists" : true
                                }
                            }
                        ]
                    },
                    "winningPlan" : {
                        "stage" : "FETCH",
                        "filter" : {
                            "$and" : [
                                {
                                    "SiteType" : {
                                        "$exists" : true
                                    }
                                },
                                {
                                    "$or" : [
                                        {
                                            "$and" : [
                                                {
                                                    "LifeTime" : {
                                                        "$eq" : 0
                                                    }
                                                },
                                                {
                                                    "Extension" : {
                                                        "$in" : [
                                                            "chrome_0",
                                                            "firefox_0"
                                                        ]
                                                    }
                                                }
                                            ]
                                        },
                                        {
                                            "LifeTime" : {
                                                "$gt" : 1000
                                            }
                                        }
                                    ]
                                },
                                {
                                    "VisitTime" : {
                                        "$lte" : "2015-07-25T18:30:00Z"
                                    }
                                },
                                {
                                    "AccountId" : {
                                        "$eq" : "accID"
                                    }
                                },
                                {
                                    "VisitTime" : {
                                        "$gte" : "2014-07-25T18:30:00Z"
                                    }
                                }
                            ]
                        },
                        "inputStage" : {
                            "stage" : "IXSCAN",
                            "keyPattern" : {
                                "Host" : -1,
                                "SiteType" : -1
                            },
                            "indexName" : "Host_-1_SiteType_-1",
                            "isMultiKey" : false,
                            "direction" : "forward",
                            "indexBounds" : {
                                "Host" : [
                                    "[MaxKey, \"localhost\")",
                                    "(\"localhost\", MinKey]"
                                ],
                                "SiteType" : [
                                    "[MaxKey, MinKey]"
                                ]
                            }
                        }
                    },
                    "rejectedPlans" : [
                        {
                            "stage" : "FETCH",
                            "filter" : {
                                "$and" : [
                                    {
                                        "SiteType" : {
                                            "$exists" : true
                                        }
                                    },
                                    {
                                        "$or" : [
                                            {
                                                "$and" : [
                                                    {
                                                        "LifeTime" : {
                                                            "$eq" : 0
                                                        }
                                                    },
                                                    {
                                                        "Extension" : {
                                                            "$in" : [
                                                                "chrome_0",
                                                                "firefox_0"
                                                            ]
                                                        }
                                                    }
                                                ]
                                            },
                                            {
                                                "LifeTime" : {
                                                    "$gt" : 1000
                                                }
                                            }
                                        ]
                                    }
                                ]
                            },
                            "inputStage" : {
                                "stage" : "IXSCAN",
                                "keyPattern" : {
                                    "VisitTime" : -1,
                                    "AccountId" : -1,
                                    "Host" : -1,
                                    "SiteType" : -1,
                                    "Extension" : -1,
                                    "LifeTime" : -1
                                },
                                "indexName" : "VisitTime_-1_AccountId_-1_Host_-1_SiteType_-1_Extension_-1_LifeTime_-1",
                                "isMultiKey" : false,
                                "direction" : "forward",
                                "indexBounds" : {
                                    "VisitTime" : [
                                        "[new Date(1437849000000), new Date(1406313000000)]"
                                    ],
                                    "AccountId" : [
                                        "[\"accID\", \"accID\"]"
                                    ],
                                    "Host" : [
                                        "[MaxKey, \"localhost\")",
                                        "(\"localhost\", MinKey]"
                                    ],
                                    "SiteType" : [
                                        "[MaxKey, MinKey]"
                                    ],
                                    "Extension" : [
                                        "[MaxKey, MinKey]"
                                    ],
                                    "LifeTime" : [
                                        "[MaxKey, MinKey]"
                                    ]
                                }
                            }
                        }
                    ]
                }
            }
        },
        {
            "$group" : {
                "_id" : "$Host",
                "Count" : {
                    "$sum" : {
                        "$const" : 1
                    }
                }
            }
        },
        {
            "$sort" : {
                "sortKey" : {
                    "Count" : -1
                },
                "limit" : 5
            }
        },
        {
            "$project" : {
                "_id" : false,
                "Host" : "$_id",
                "TotalVisit" : "$Count"
            }
        }
    ],
    "ok" : 1
}

最佳答案

2019 年答案

从 MongoDB 3.6 版开始

来自documentation ,您可以通过以下方式添加聚合提示:

db.collection.aggregate(pipeline, {hint: "index_name"})

如果您想查看说明,只需添加说明,就像没有 hint

一样

关于mongodb - 如何在 MongoDB 聚合查询中使用 $hint?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31633871/

有关mongodb - 如何在 MongoDB 聚合查询中使用 $hint?的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣,我很好奇如何按顺序创建PI,而不是在过程结果之后生成数字,而是让数字在过程本身生成时显示。如果是这种情况,那么数字可以自行产生,我可以对以前看到的数字实现垃圾收集,从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法,类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  7. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我

  8. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  9. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  10. ruby - ECONNRESET (Whois::ConnectionError) - 尝试在 Ruby 中查询 Whois 时出错 - 2

    我正在用Ruby编写一个简单的程序来检查域列表是否被占用。基本上它循环遍历列表,并使用以下函数进行检查。require'rubygems'require'whois'defcheck_domain(domain)c=Whois::Client.newc.query("google.com").available?end程序不断出错(即使我在google.com中进行硬编码),并打印以下消息。鉴于该程序非常简单,我已经没有什么想法了-有什么建议吗?/Library/Ruby/Gems/1.8/gems/whois-2.0.2/lib/whois/server/adapters/base.

随机推荐