javascript - 如何使用 Mongoskin 进行无序批量插入？

Question

我在使用 Mongoskin 在 Node 上执行批量插入 (MongoDB 2.6+) 时遇到问题。

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
var bulk = db.collection('collection').initializeUnorderedBulkOp();

for (var i = 0; i < 200000; i++) {
    bulk.insert({number: i}, function() {
        console.log('bulk inserting: ', i);
    });
}

bulk.execute(function(err, result) {
    res.json('send response statement');
}); 

上面的代码给出了以下警告/错误:

(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'
(node) warning: possible EventEmitter memory leak detected. 51 listeners added. Use emitter.setMaxListeners() to increase limit.
TypeError: Object #<SkinClass> has no method 'execute'

是否可以使用 Mongoskin 执行无序批量操作？如果是这样，我做错了什么？

Answer 1

您可以这样做，但您需要更改调用约定才能执行此操作，因为只有“回调”形式实际上会返回一个集合对象，从中可以调用 .initializeUnorderedBulkOp() 方法。您认为它的工作方式也有一些用法上的差异:

var dbURI = urigoeshere;
var db = mongo.db(dbURI, {safe:true});
db.collection('collection',function(err,collection) {
    var bulk = collection.initializeUnorderedBulkOp();
    count = 0;

    for (var i = 0; i < 200000; i++) {
        bulk.insert({number: i});
        count++;

        if ( count % 1000 == 0 )
            bulk.execute(function(err,result) {
               // maybe do something with results
               bulk = collection.initializeUnorderedBulkOp(); // reset after execute
            });      

    });

    // If your loop was not a round divisor of 1000
    if ( count % 1000 != 0 )
        bulk.execute(function(err,result) {
          // maybe do something here
        });
});

所以实际的“批量”方法本身不需要回调，并且完全按照 the documentation 中所示的方式工作。 . exeception 是 .execute()，它实际上将语句发送到服务器。

虽然驱动程序会在某种程度上为您解决这个问题，但在调用执行之前排队太多操作可能不是一个好主意。这基本上是在内存中建立起来的，尽管驱动程序一次只能发送 1000 个批处理(这是服务器限制以及整个批处理小于 16MB)，您可能需要在这里进行更多控制，至少限制内存使用。

这就是所示的模测试的要点，但是如果用于构建操作的内存和可能非常大的响应对象对您来说不是问题，那么您可以继续排队操作并调用 .execute( )一次。

“响应”的格式与 BulkWriteResult 的文档中给出的格式相同.