阅读this ，并尝试对其进行试验。

下面是我的架构。

架构:

{
    "s"  : "CB",
    "c"  : "REQ_RCV",
    "e"  : "sms_click",
    "st" : "i",
    "b"  : "2",
    "a"  : "1",
    "u"  : "b1_h1_d1_m1_user_2",
    "c#" : "b1_h1_d1_m1_cr-2",
    "@"  : ISODate("2016-10-01T06:03:00.000Z"), //Indexed
    "@h" : "16100106", //hourly bucket
    "@d" : "161001",                            //Indexed
    "@m" : "1610"
}

下面是解释计划:

> 2017-01-22T13:43:47.764+0530 I COMMAND  [conn34] command test-analytics.template3 appName: "MongoDB Shell" command: aggregate {
> aggregate: "template3", pipeline: [ { $match: { @: { $gte: new
> Date(1483228800000), $lte: new Date(1483315199000) } } }, { $group: {
> _id: { b: "$b", HOURLY: "$@h", s: "$s" }, count: { $sum: 1.0 } } }, { $project: { _id: 0.0, BUCKET: "$_id.b", SERVICE: "$_id.s", TIME:
> "$_id.HOURLY", count: 1.0 } }, { $sort: { SERVICE: 1.0, BUCKET: 1.0,
> TIME: 1.0 } } ], cursor: {} } planSummary: IXSCAN { @: 1.0 }
> keysExamined:106888 docsExamined:106888 hasSortStage:1
> cursorExhausted:1 numYields:925 nreturned:96 reslen:7095 locks:{
> Global: { acquireCount: { r: 1860 } }, Database: { acquireCount: { r:
> 930 } }, Collection: { acquireCount: { r: 929 } } }
> protocol:op_command **3499ms**


> 2017-01-22T13:44:24.825+0530 I COMMAND  [conn34] command test-analytics.template3 appName: "MongoDB Shell" command: aggregate {
> aggregate: "template3", pipeline: [ { $match: { @d: "170101" } }, {
> $group: { _id: { b: "$b", HOURLY: "$@h", s: "$s" }, count: { $sum: 1.0
> } } }, { $project: { _id: 0.0, BUCKET: "$_id.b", SERVICE: "$_id.s",
> TIME: "$_id.HOURLY", count: 1.0 } }, { $sort: { SERVICE: 1.0, BUCKET:
> 1.0, TIME: 1.0 } } ], cursor: {} } planSummary: IXSCAN { @d: 1.0 } keysExamined:106888 docsExamined:106888 hasSortStage:1
> cursorExhausted:1 numYields:865 nreturned:96 reslen:7095 locks:{
> Global: { acquireCount: { r: 1740 } }, Database: { acquireCount: { r:
> 870 } }, Collection: { acquireCount: { r: 869 } } }
> protocol:op_command **1294ms**

问题:

1. 虽然两个查询都检查了相同数量的文档 为什么输出会有时间差？
2. $lte、$gte 运算符是只在日期范围上变慢还是在数值比较上也变慢？
3. 由于分桶提供更快的响应，我如何使用分桶进行范围查询？我可以进行多个聚合时间桶调用以支持范围查询，但这会增加往返时间，有什么建议吗？
4. 是否可以在聚合查询中对两个 $match 使用 $and 以支持范围分桶？目前聚合接受多个 $match 但 $match 的第一个输出被提供给第二个 $match，但我想要的是添加/分组个人$match 结果到下一个管道。

Q4 的可能答案:

db.template3.aggregate([ 
    {
        $match: {
            $or: [
                {"@d":"170301"},
                {"@d":"170306"}, 
                {"@d":"170202"}, 
                {"@d":"170303"},
                {"@d":"170304"}, 
                {"@d":"170305"}
            ]
        }
    },
    { $project: { _id: 0, "b": 1, "s": 1, "@h": 1 } }, 
    {
        $group: {
            _id: {"b": "$b", "HOURLY": "$@h", "s": "$s" }, 
            count: { $sum: 1 } 
        }
    },  
    { 
        $project: {
            _id: 0, 
            "BUCKET": "$_id.b",
            "SERVICE": "$_id.s",
            "TIME": "$_id.HOURLY", 
            count: 1
        }
    },         
    { $sort: { "SERVICE": 1, "BUCKET": 1, "TIME": 1 } } 
]);

在这个答案中，我们可以使用桶的混合(每日和每月)，这仍然会使用它自己的索引。阅读https://docs.mongodb.com/manual/reference/operator/query/or/#or-clauses-and-indexes .

示例查询:

db.template3.aggregate([ 

    {$match:{"@h":{$gte : 17020511, $lte : 17030511}, "st":"i"}}, 

    {$project : {"_id":0,  "@h":1,"c":1, "@m":1}}, 

    {$group:{_id:{ "HOURLY":"$@h", "c":"$c"}, count:{$sum:1}}},

    {$project : {_id:0, "COUNTER":"$_id.c","TIME":"$_id.HOURLY", count:1}}, 

    {$sort:{"COUNTER":1,"TIME":1}}
]);

输出:

{ "count" : 2255, "COUNTER" : "REQ_RCVD", "TIME" : 17020511 }
{ "count" : 28888, "COUNTER" : "REQ_RCVD", "TIME" : 17020600 }
{ "count" : 37613, "COUNTER" : "REQ_RCVD", "TIME" : 17020601 }
{ "count" : 6723, "COUNTER" : "REQ_RCVD", "TIME" : 17020602 }
{ "count" : 14057, "COUNTER" : "REQ_RCVD", "TIME" : 17020603 }
{ "count" : 12405, "COUNTER" : "REQ_RCVD", "TIME" : 17020604 }
{ "count" : 2392, "COUNTER" : "REQ_RCVD", "TIME" : 17020611 }
{ "count" : 28784, "COUNTER" : "REQ_RCVD", "TIME" : 17020700 }
{ "count" : 37494, "COUNTER" : "REQ_RCVD", "TIME" : 17020701 }
{ "count" : 6697, "COUNTER" : "REQ_RCVD", "TIME" : 17020702 }
{ "count" : 13930, "COUNTER" : "REQ_RCVD", "TIME" : 17020703 }
{ "count" : 12493, "COUNTER" : "REQ_RCVD", "TIME" : 17020704 }
{ "count" : 2225, "COUNTER" : "REQ_RCVD", "TIME" : 17020711 }
{ "count" : 28821, "COUNTER" : "REQ_RCVD", "TIME" : 17020800 }
{ "count" : 37949, "COUNTER" : "REQ_RCVD", "TIME" : 17020801 }
{ "count" : 6676, "COUNTER" : "REQ_RCVD", "TIME" : 17020802 }
{ "count" : 14039, "COUNTER" : "REQ_RCVD", "TIME" : 17020803 }
{ "count" : 12349, "COUNTER" : "REQ_RCVD", "TIME" : 17020804 }
{ "count" : 2332, "COUNTER" : "REQ_RCVD", "TIME" : 17020811 }
{ "count" : 28379, "COUNTER" : "REQ_RCVD", "TIME" : 17020900 }

优化

1. 我觉得阅读非索引字段会花费更多时间。 因此 docsExamined: 106888

2. 当我在 $group

   之前使用 $project 时，在某种程度上有所改进

3. 我已将 "@h" 数据类型从 String 更改为 Integer (NumberInt) ，我认为它会再改进一些。

最佳答案

让我们一一解答您的问题:

Though both the queries examined the same number of documents Why there is time difference in the output?

从单次执行中查看性能指标确实不是它的工作原理。在得出结论之前，您应该取几次执行的平均值，因为有几个因素在起作用。 也就是说，MongoDB 将最常用的文档缓存在内存中并将其保存在那里，除非它必须为其他文档提供内存。因此，如果一个查询访问已经从之前的查询中缓存的文档，它应该会更快。

此外，在 MongoDB 中，聚合仅在开头使用索引(如果有的话)。例如 $match 和 $sort 阶段可以使用索引。在您的情况下，$match 是第一个管道阶段，所以这是一个胜利。

Is $lte, $gte is slow only on date range or it is even slow on numeric comparison as well ..?

在 MongoDB 中，数据存储在 BSON 中, 所以 dates are basically numbers当他们进行比较时。所以没有区别。

Since bucketing gives faster response, how to use bucketing for range queries? I can make multiple aggregate time bucket calls to support range queries, but that will make more round trip time, any suggestions?

虽然我没有测试过，但我真的怀疑 time_bucket 方法是否会提供更快的响应。由于 created_at 将始终增加，因此在这种情况下，索引也将附加到没有 time_bucket 的末尾。此外，与在简单日期字段上创建的索引相比，在数组上创建的索引大小相对较大。这不会导致在 RAM 中拟合索引的问题。

当您在匹配前在日期字段上使用某些函数时，使用 time_bucket 是有意义的。如果您在匹配前仅从日期字段中提取年份，则会导致该日期的现有索引无用。

转换参数以匹配数据库中的数据类型总是更好，而不是相反。

Is that possible $and of two $match in an aggregate query to support range bucketing. Currently Aggregate accepts multiple $match but first output of $match is given to second $match, but what I want is adding/grouping of individual $match results to the next pipeline.

是的，这是可能的。如果它是 $and，您只需在 $match 阶段指定所有用逗号分隔的过滤器。如果是 $or 使用 $or运算符(operator)。

如果你有two $macth phases one by one MongoDB combines it to one .因此您无需担心添加多个匹配阶段的结果。

现在您的优化点数

I felt more time is taken because of reading of non-indexed fields. hence docsExamined:106888

是的，covered queries更快。

There is some betterment when I use $project before $group

如果在 $group 阶段通过使用 $project 减少了文档的大小，那么是的。

I have changed @h dataType from string to int (NumberInt), I think it will improve some more.

这不一定是真的，但通常是这样。您可以查看this answer .

关于mongodb - 随时间分桶分析的范围支持，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41788874/