node.js - 为什么 Node.js 以这种方式执行？

Question

我有一个 Node.js 应用程序，用于将记录从 MySql 迁移到 MongoDB。我正在使用 Mongoose 和 async.js 来执行此操作，并且我注意到一些我不理解的行为。如果我有以下 Coffeescript 代码 ( javascript here ):

           # users is a collection of about 70k records
async.each users, ((user, callback) =>
    # console.log "saving user: #{user.id} of #{users[users.length-1].id}"
    model = new User
        id: user.id
        name:
            first: user.fname
            last: user.lname
    model.save (err) ->
        console.log "saving user: #{user.id}"
        model = null
        callback(err)
), (err) ->
    users = null
    callback(err)

model.save的回调永远不会达到，我的 Node 进程将慢慢爬升到 1.5gb。如果我检查我的 mongodb 实例，我可以看到 users 中的所有 70k 项之后收集已处理，记录将开始保存到 mongodb，但它们停止在 41k 左右。

我注意到如果我从 async.each 切换至 async.eachSeries , model.save 的回电每条记录都已达到，迁移成功完成。

我假设出于某种原因，Node 正在针对 users 中的每个项目运行 async.each 的每次迭代。在执行 model.save 的回调之前收集，这会导致内存问题，但我不明白这是为什么。谁能告诉我为什么 Node 会这样做，以及为什么切换到 async.eachSeries解决了这个问题？

Answer 1

Neil 在提供解决方案方面做得很好，但我只想谈谈你的问题:

Can anyone tell me why Node would be doing this, and why switching to async.eachSeries fixes this problem?

如果您查看 async.each 与 async.eachSeries 的详细信息，您可能会注意到 async.each 的文档说明:

Applies the function iterator to each item in arr, in parallel

但是，async.eachSeries 指出:

The same as each, only iterator is applied to each item in arr in series. The next iterator is only called once the current one has completed. This means the iterator functions will complete in order.

详细来说，如果我们查看代码，您会发现 each 的代码最终会调用数组本身的原生 forEach 函数，并且每个元素调用迭代器(link to source):

_each(arr, function (x) {
    iterator(x, only_once(done) );
});

调用:

var _each = function (arr, iterator) {
    if (arr.forEach) {
        return arr.forEach(iterator);
    }

但是，对迭代器函数的每次调用最终都会调用 model.save。这个 Mongoose 函数(除其他外)最终执行 I/O 以将数据保存到数据库。如果您要跟踪代码路径，您会发现它最终出现在调用 process.nextTick ( link to source ) 的函数中。

Node 的 process.nextTick函数通常用于这种情况(I/O)，一旦执行流程结束就会处理回调。在这种情况下，只有在 forEach 循环完成后才会调用每个回调。 (这是有目的的，意味着不阻止任何代码执行。)

总结一下:

当使用 async.each 时，上面的代码将遍历所有用户，对保存进行排队，但仅在代码完成对所有用户的迭代后才开始处理它们。

当使用 async.eachSeries 时，上面的代码将一次处理每个用户，并且仅在保存完成后处理下一个用户——当调用 eachSeries 回调时.