node.js - Express.js 文件上传 : 60s timeouts and HTTP connection timeout errors

Question

我会很快解释我的应用程序做什么:

1. 客户上传文件
2. 它得到处理
3. 服务器创建 pdf 的快照图像
4. 服务器发回快照图像的路径

现在的问题是，从步骤 (1) 到 (4) 的整个过程需要 60 多秒。

起初我有一个使用旧的 express.bodyParser() 的代码，但是在 60 年代之后我会得到以下错误:

Error: Request aborted
    at IncomingMessage.onReqAborted (/DIR_TO_NODE/node/file-upload-error/node_modules/express/node_modules/connect/node_modules/multiparty/index.js:131:17)
    at IncomingMessage.EventEmitter.emit (events.js:92:17)
    at abortIncoming (http.js:1911:11)
    at Socket.serverSocketCloseListener (http.js:1923:5)
    at Socket.EventEmitter.emit (events.js:117:20)
    at TCP.close (net.js:466:12)

并且操作系统的tmp目录中的文件被删除。

所以我决定使用 mulster 中间件模块来代替 express.multipart()。

此更改解决了 1/2 的问题，因为它消除了我之前遇到的 Express.js 多部分错误。

这意味着我的程序在 60 秒后继续运行，这很好，但在同样的 60 秒后我仍然从客户端收到 HTTP 超时。

现在我知道像 Chrome 这样的浏览器可以修复 60 秒超时，但我的问题如下:

• 有没有什么办法可以防止这种 HTTP 超时在 60 秒后发生？

• 如果没有办法，其他应用程序如何解决这个问题？我对多个并发用户必须争夺文件系统访问权限的情况特别感兴趣。

提前致谢!

这里有几个测试用例，我通过从不使用 res.send() 回答请求并每 10 秒轮询一次 tmp 中的文件名来模拟长时间处理目录只是为了检查我的文件何时会消失(有时 60 秒超时，有时 120 秒超时)。

测试用例 n°1 - 使用遗留 express.bodyParser() 中间件:

var express = require('express');
var path = require('path');
var app = express();
var fs = require('fs');
var os = require('os');

var pid = process.pid.toString();
var interval;

app.use(express.bodyParser());

app.get('/', function (req, res) {
    res.send([
        '<form method="post" enctype="multipart/form-data">' +
            '<p>Image: <input type="file" name="pdf" /></p>' +
            '<p><input type="submit" value="Upload" /></p>' +
        '</form>'
    ].join(''));
});

app.post('/', function (req, res, next) {

    var file_path;
    if(req.files.pdf) {
        file_path = req.files.pdf.path;
    }
    else {
        file_path = os.tmpDir() + 'test';
    }

    var filename = path.basename(file_path);
    var dir = path.dirname(file_path);

    console.log('\n> PID: ' + pid);
    console.log('> Filepath: ' + dir);
    console.log('> Filename: ' + filename);

    var count = 0;
    clearInterval(interval);
    interval = setInterval(function () {
        count++;
        console.log('\n> Interval: ' + (count * 10) + ' seconds');

        var files = fs.readdirSync(dir);
        for(var i = 0; i < files.length; i++) {
            if(files[i].substr(0, pid.length) === pid) {
                console.log('\t-> File present: ' + files[i]);
            }
        }

    }, 10000);

});

app.listen(3000);
console.log('Express started on port 3000');

测试用例 n°2 - 使用 mulster 中间件:

var express = require('express');
var multer = require('multer');
var path = require('path');
var app = express();
var fs = require('fs');
var os = require('os');

var pid = process.pid.toString();
var interval;

app.use(express.json());
app.use(express.urlencoded());
app.use(multer({
    dest: os.tmpDir()
}));

app.get('/', function (req, res) {
    res.send([
        '<form method="post" enctype="multipart/form-data">' +
            '<p>Image: <input type="file" name="pdf" /></p>' +
            '<p><input type="submit" value="Upload" /></p>' +
        '</form>'
    ].join(''));
});

app.post('/', function (req, res, next) {

    var file_path;
    if(req.files.pdf) {
        file_path = req.files.pdf.path;
    }
    else {
        file_path = os.tmpDir() + 'test';
    }

    //var file_path = req.files.pdf.path;
    var filename = path.basename(file_path);
    var dir = path.dirname(file_path);

    console.log('\n> PID: ' + pid);
    console.log('> Filepath: ' + dir);
    console.log('> Filename: ' + filename);

    var count = 0;
    clearInterval(interval);
    interval = setInterval(function () {
        count++;
        console.log('\n> Interval: ' + (count * 10) + ' seconds');

        var files = fs.readdirSync(dir);
        for(var i = 0; i < files.length; i++) {
            if(files[i].split('.')[0].length === 32 || files[i].substr(0, pid.length) === pid) {
                console.log('\t-> File present: ' + files[i]);
            }
        }

    }, 10000);

});

app.listen(3000);
console.log('Express started on port 3000');

Answer 1

问题看起来与 this question 非常相似. 60 秒超时很可能来自底层套接字，可以通过以下方式修复:

app.post('/', function (req, res, next) { {
    // 10 minute timeout just for POST to /
    req.socket.setTimeout(10 * 60 * 1000);
    
    // ...

});