我试图使用 nodejs 在 mongodb 中的查询结果创建另一个集合

如果我只有少量记录，代码可以正常工作。但如果有大量记录则不起作用。

错误

[Error: Document exceeds maximum allowed bson size of 16777216 bytes]

代码

MongoClient.connect(MONGODB_URI, function (err, database) {
    if (err) throw err;
    coll = database.collection("smmc_queue");
    coll.insert({
        "startTime": moment().format("DD-MM-YYYY, h:mm:ss a"),
        "caseName": req.body.caseName,
        "author": req.session.user,
        "jobType": 'Query',
        "status": 'In progress',
        "searchDescription": searchDescription,
        "query": searchCondition,
        "sort": sortCondition
    }, function (err, sucessDoc) {
        res.redirect(302, '/queryStatus');
        MongoClient.connect(MONGODB_URI, function (err, database) {
            if (err) throw err;
            collection = database.collection(req.body.caseName);
            collection.find(searchObj, sortObj).toArray(function (err, doc) {
                var ncn = 'query_' + sucessDoc[0]._id.toString();
                if (!err) {
                    coll.update({
                        "_id": sucessDoc[0]._id
                    }, {
                        $set: {
                            "endTime": moment().format("DD-MM-YYYY, h:mm:ss a"),
                            status: "Completed",
                        }
                    }, {
                        upsert: true,
                        multi: true
                    }, function (err, result) {});
                    resultCollection = database.collection(ncn);
                    console.log(typeof doc)
                    console.log(doc.length)
                    resultCollection.insert(doc, function (err, res) {
                        console.log(err);
                    });
                } else {
                    coll.update({
                        "_id": sucessDoc[0]._id
                    }, {
                        $set: {
                            "endTime": moment().format("DD-MM-YYYY, h:mm:ss a"),
                            status: "Completed",
                            "result": err
                        }
                    }, {
                        upsert: true,
                        multi: true
                    }, function (err, result) {});
                }
            });
        });
    });
})

控制台示例

Search Query : { CARDNO: 821 }
typeof doc : object
doc.length : 756
err (insert to resultCollection) : null

Search Query : { IODATE: { '$gt': Mon Apr 02 2012 00:00:00 GMT+0530 (IST) } }
typeof doc : object
doc.length : 374010
err (insert to resultCollection) : [Error: Document exceeds maximum allowed bson size of 16777216 bytes]

我哪里出错了？

最佳答案

失败的原因是因为当您插入时，您的文档值是一个数组，包含您报告的“长度”。

虽然array 文档可以插入，但问题不是“单个”文档大小，而是整个 插入。所以你打破了最大 BSON 大小，因为要插入的“请求”大于最大值 (16MB)。

您需要做的是将其分解，尝试 500 的数量一次。

var last = 0;
for ( var i=0; i < doc.length; i+= 500 ) {
    resultCollection.insert( doc.slice(last, i) );
    last = i;
}
resultCollection.insert( doc.slice(last, doc.length) );

或者可能比这更好的东西。

但一般来说，分解数组。 每个请求您只能执行限制 (16MB)。

关于javascript - 从 Node 中的 mongodb 查询结果创建另一个集合的问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22553514/