node.js - 如何优化 mongodb 中具有 1M 条记录的 upsert 批量查询

Question

我有一个不断下载数据的脚本，我正在将该数据保存到 MongoDB 中。每个文档都有一个关联的 ID。如果我收到相同的文档，我只更新一部分。如果 id 是新的，我将添加整个文档。

现在的问题是，当 MongoDB 中没有文档时，它运行顺利，但是当 mongo 中有大约 30k 文档时，性能开始下降。

var batch = database_object.collection(channel_basic_data_collection).initializeUnorderedBulkOp({useLegacyOps: true}); 
batch.find(query).upsert().updateOne(update_OPERTATION);

if (count > 1000 ) 
{ 
  batch.execute(function (err, result) {

                    if (err){
                        errorLog(err)
                        operation_started = false
                        return
                    }

                    batch = database_object.collection(channel_basic_data_collection).initializeUnorderedBulkOp({useLegacyOps: true});
});

}

我需要插入 150 万个文档，对于每个新文档，我需要搜索整个集合。

Answer 1

创建 index在您用于查询的字段中。