mongodb - 将 MongoDB 集合移动到另一个集合的更好方法

Question

在我的网络抓取项目中，我需要将前一天抓取的数据从 mongo_collection 移动到 mongo_his_collection

我正在使用这个查询来移动数据

for record in collection.find():
    his_collection.insert(record)

collection.remove()

它工作正常，但有时当 MongoDB collection 包含超过 10k 行

时它会中断

建议我一些优化的查询，它将占用更少的资源并完成相同的任务

Answer 1

你可以使用 MapReduce为此工作。

MapReduce 允许您指定一个外集合来存储结果。

当你有一个 map 函数发出每个文档时，每个文档都有自己的 _id 作为键，还有一个 reduce 函数返回值数组的第一个(在这种情况下只是因为 _id 是唯一的)条目，MapReduce 本质上是一个副本从源集合到外集合的操作。

未经测试的代码:

db.runCommand(
           {
             mapReduce: "mongo_collection",
             map: function(document) {
                  emit(document._id, document);
             },
             reduce: function(key, values) {
                  return values[0];
             },
             out: {
                  merge:"mongo_his_collection"
             }
           }
         )