从mongo检索数据花费的时间太长，即使对于小数据集也是如此。对于更大的数据集，我们会得到javascript引擎的内存不足错误。我们尝试了几种模式设计和几种检索数据的方法。如何优化mongodb/mapreduce函数/mongowire以更快地检索更多数据？
我们对MongoDB还不是很有经验，因此不确定我们是否遗漏了优化步骤，或者只是使用了错误的工具。
1。背景
为了绘图和回放，我们希望随着时间的推移存储多个对象的更改。目前我们每个项目有几十个对象，但我们需要存储数千个对象。对象可能每秒更改一次，也可能长时间不更改。delphi后端通过mongowire和superobjects对mongodb进行写入和读取，数据显示在web前端。
2。模式设计
我们将对象的变化存储在每小时记录中的分钟秒毫秒对象中。模式设计如所述。样品：
O:目标1，
日期：$日期，
v:{0:{0:{0:{speed:8，rate:0.8}}，1:{0:{0:{speed:9}}，…}
我们把索引放在{dt: -1, o: 1}和{o:1}上。
三。检索数据
我们使用mapreduce基于分钟秒毫秒对象构造一个新日期，并将该对象放回v：
O:目标1，
日期：$日期，
v:{速度：8，速率：0.8}
在mapreduce函数之前，文档的平均大小约为525kb，并且已经更新了约29000次。对这样一个文档进行mapreduce后，结果约为746kb。
3.1使用MapReduce通过Mongo Shell检索数据
我们使用以下映射函数：

function mapF(){    
    for (var i = 0; i < 3600; i++){
        var imin = Math.floor(i / 60);
        var isec = (i % 60);

        var min = ''+imin;
        var sec = ''+isec;

        if (this.v.hasOwnProperty(min) && this.v[min].hasOwnProperty(sec)) {
            for (var ms in this.v[min][sec]) {
                if (imin !== 0 && isec !== 0 && ms !== '0' && this.v[min][sec].hasOwnProperty(ms)) {// is our keyframe              
                    var currentV = this.v[min][sec][ms];

                    //newT is new date computed by the min, sec, ms above

                    if (toDate > newT && newT > fromDate) {
                        if (fields && fields.length > 0) {

                            for (var p = 0, length = fields.length; p < length; p++){
                                //check if field is present and put it in newV
                            }

                            if (newV) {
                                emit(this.o, {vs: [{o: this.o, dt: newT, v: newV}]});
                            }
                        } else {
                            emit(this.o, {vs: [{o: this.o, dt: newT, v: currentV}]});               
                        }
                    }
                }
            }
        }
    }
};

db.collection.mapReduce( mapF,reduceF,
                        {out: {inline: 1},
                         query: {o: {$in: objectNames]}, dt: {$gte: keyframeFromDate, $lt: keyframeToDate}},
                         sort: {dt: 1},
                         scope: {toDate: toDateWithinKeyframe, fromDate:  fromDateWithinKeyframe, fields: []},
                         jsMode: true});

FMongoWire.Get('$cmd',BSON([
      'mapreduce', ‘collection’,
      'map', bsonJavaScriptCodePrefix + FMapVCRFunction.Text,
      'reduce', bsonJavaScriptCodePrefix + FReduceVCRFunction.Text,
      'out', BSON(['inline', 1]),
      'query', mapquery,
      'sort', BSON(['dt', -1]),
      'scope', scope
    ]));

最佳答案

哎呀，真是个问题！首先：我不是MongoDB的专家。我写tmongowire是为了了解一点mongodb。另外，我真的（真的）不喜欢包装器有过多的重载来做相同的事情，但是对于所有类型的特定类型。很久以前程序员没有泛型，但我们有变体。所以我基于变体构建了一个mongodb包装器（和ibsondocument）。这就是说，我显然做了一些人们喜欢用的东西，通过保持它的简单性能相当好。（我最近没有花太多时间在这上面，但最重要的是迎合了版本3以来的新身份验证方案。）
现在，关于你的具体设置。你说你用mapreduce从500kb到700kb？我认为有迹象表明你在工作中使用了错误的工具。我不确定默认的mongo shell与您在TMongoWire.Get上执行相同操作时有什么不同，但是如果我假设mapreduce在通过连线发送响应之前首先组装响应，那么性能就会下降。
所以我的建议是：考虑使用tmongowirequery是对的。它提供了一种快速处理数据的方法，因为服务器会将数据流化，但还有更多。
我强烈建议使用数组来存储秒列表。即使不是所有秒都有数据，也要在没有数据的秒上存储null，这样每分钟数组就有60个项。这就是为什么：
在设计tmongowirequery时出现的一个细节是，假设您一次处理一个（bson）文档，并且文档的内容大致相似，至少在值名上是这样。因此，通过在枚举响应时使用同一个ibsondocument实例，您实际上不必取消分配和重新分配所有这些变量，从而节省了大量时间。
这适用于简单的文档，但实际上在数组上也很好。这就是我创建ibsondocumentenumerator的原因。您需要在预期的文档数组位置预先加载带有ibsondocumentenumerator的ibsondocument实例，并且您需要以与tmongowirequery大致相同的方式处理该数组：使用相同的ibsondocument实例枚举它，因此当后续的documeNT具有相同的密钥，不必重新分配密钥就节省了时间。
不过，在您的情况下，您仍然需要通过连线拉取整个小时的数据，以便选择所需的秒数。正如我之前所说，我不是MongoDB专家，但我怀疑有更好的方法来存储这样的数据。或者每秒使用一个单独的文档（我想这会让索引做更多的工作，MongoDB可以采用这个插入率），或者使用一个特定的查询构造，以便MongoDB知道如何将秒数组缩短为您请求的数据（这就是$splice所做的吗？）
下面是一个如何在{name:"fruit",items:[{name:"apple"},{name:"pear"}]}这样的文档上使用ibsondocumentenumerator的示例。

q:=TMongoWireQuery.Create(db);
try
  q.Query('test',BSON([]));
  e:=BSONEnum;
  d:=BSON(['items',e]);
  d1:=BSON;
  while q.Next(d) do
   begin
    i:=0;
    while e.Next(d1) do
     begin
      Memo1.Lines.Add(d['name']+'#'+IntToStr(i)+d1['name']);
      inc(i);
     end;
   end;
finally
  q.Free;
end;

关于performance - 我们如何改进MongoDB MapReduce函数，该函数需要很长时间才能检索数据并导致内存不足错误？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30774069/