javascript - async.retry - 回调已调用

Question

我环顾四周，很确定回调不会被调用两次。无论如何，下面是我的代码:

async.eachSeries(saveProps,function(photo,doneMaster){
    var tries = 0;
    async.retry({times: 10, interval: 200}, 
        function(done, results){
            debug('attempt num: ' + (++tries));
            aws.getFile(photo.s3_location,function(err,s){
                if(err){
                    debug('error:' + err);
                    return done(err);
                }else{
                    done(null,s);
                 }
            })
        },
        function(err,imageStream){
            if(err){return doneMaster(err);}
            else{
                debug('appending photo to zip: %s', photo.s3_location);
                zip.append(imageStream, {name: photo.saveName});
                doneMaster();
            }
        }
    );
},function(err){
    if(err){
        reject(err);
    }else{
        zip.finalize();
    }
});

这个问题的一点背景知识是，我正在尝试以一对一的方式迭代一些照片信息，并将数据从 s3 流式传输到 zip 文件中。我正在尝试使此功能适用于许多照片(几千张)。该过程失败是因为一张图像返回 ECONNRESET。每当这种情况发生时，我都想再重试一次。我遇到的问题是，每当图像抛出 ECONNRESET 并重试时，异步库都会抛出回调已被调用的错误。我一直在关注这个，而且我不会调用它两次。

我的问题是，done() 怎样才能被调用两次？

有关我正在使用的对象/包的一些信息:

• aws 是 knox
• zip 是 archiver

堆栈跟踪信息:

app:worker attempt num: 1 +1ms
app:worker error:Error: read ECONNRESET +91ms
/appdir/node_modules/async/dist/async.js:803
            if (fn === null) throw new Error("Callback was already called.");
                             ^

Error: Callback was already called.
    at /appdir/node_modules/async/dist/async.js:803:36
    at /appdir/node_modules/async/dist/async.js:3481:17
    at /appdir/node_modules/async/dist/async.js:307:31
    at /appdir/node_modules/async/dist/async.js:3755:21
    at ClientRequest.<anonymous> (/appdir/modules/zip-worker.js:348:44)
    at emitOne (events.js:77:13)
    at ClientRequest.emit (events.js:169:7)
    at TLSSocket.socketErrorListener (_http_client.js:256:9)
    at emitOne (events.js:77:13)
    at TLSSocket.emit (events.js:169:7)
    at emitErrorNT (net.js:1253:8)
    at nextTickCallbackWith2Args (node.js:442:9)
    at process._tickCallback (node.js:356:17)

在此堆栈跟踪中，/appdir/modules/zip-worker.js:348:44 是 done(null,s); 所在的行。

Answer 1

因此，我发现一旦进程达到一定数量的流， Node 就很难处理所有流。因此，每个流都会被标记为已完成，但在附加流后的某个地方，其中一个连接将重置，导致该回调因错误而重新触发。因此，我决定不使用 getFile，而是使用 get 并单独处理每个图像数据。我可以附加图像缓冲区数据，而不是将流附加到 zip。现在效果很好。下面是我的代码:

async.eachSeries(saveProps,function(photo,doneMaster){
    var tries = 0;
    async.retry({times: 10, interval: 200}, 
        function(done, results){
            var error;
            var imageData;
            debug('attempt num: ' + (++tries));
            var req = aws.get(photo.s3_location);

            req.on('response',function(res){
                if(res.statusCode !== 200){
                    error = new Error('status code ' + res.statusCode);
                }else{
                    res.on('data', function(chunk){
                        imageData += chunk;
                    });



                    res.on('end',function(){
                        if(error){
                            done(error);
                        }else{
                            done(null, imageData);
                        }
                    });
                }
            });

            req.on('error', function(err){
                error = err;
            });

            req.end();

        },
        function(err,data){
            if(err){return doneMaster(err);}
            else{
                debug('appending photo to zip: %s', photo.s3_location);
                zip.append(data, {name: photo.saveName});
                doneMaster();
            }
        }
    );
},function(err){
    if(err){
        debug('zip finished with error: ' + err);
        reject(err);
    }else{
        debug('zip finalizing');
        zip.finalize();
    }
});