python - 将 10,000 个 JSON 文件(总共 30GB)插入 MongoDB 的最佳方式

Question

我觉得用python合并所有的json文件并不方便，合并后的文件有30G。

我正在使用 mongoDB 和 nodejs。我填充示例 json 的方式是:

var data = require('./data1.json')
var populateDB = function() {
   db.collection('temp', function(err, collection) {
    collection.insert(data, {safe:true}, function(err, result) {});
 });
};

这只会添加一个 json 文件。我应该如何使用此处的 10000 多个 json 文件填充集合？非常感谢任何建议!

Answer 1

最简单的方法是编写一个处理一个 JSON 文件的 Node 程序，然后从 shell 中多次运行它:

for i in *.json; do node program.js $i; done

您的 Node 程序只需要从 process.argv 访问名称，而不是对其进行硬编码，但逻辑是相同的。

如果你想在 node 中做所有事情，那么你必须读取目录，获取所有 .json 文件，按顺序读取每个文件，然后运行与你的代码类似的代码发布。如果这是一次性任务，那么您甚至可以使用“同步”功能来简化您的代码，如果它是一次只做一件事的顺序任务，并且您不关心并行添加数据。