node.js - 使用 Node.js、Express.js 和 gridfs-stream 将文件直接流式传输到 GridFS

Question

我正在使用最新版本的express、mongodb、nodejs等。我没有使用主体解析中间件，因为我上传文件时不想将文件存储在磁盘上。我只想将它们直接流式传输到 GridFs 中。我正在使用 gridfs-stream npm 模块。我知道 ExpressJs 的底层用途很强大。请记住 - 我不希望文件到达磁盘。

这是我的路由处理程序，我只在其中发布一个多部分表单 - 该表单仅包含一个文件以及 1-3 个可选字段。

为什么哦，为什么 form.on('part',function(part)) - 对于超过 100kb 的文件的同一部分调用多次，而对于较小的文件 - 我们只得到一个调用？

我真正想做的是将上传的文件直接流式传输到 GridFs 中，并将同一篇文章中的任何表单帖子字段附加到 GridFs 元数据中。

mymodule.prototype.save = function(req,res,next) {


if(req._body) {
    //return next();
}else if(contentType(req) !== 'multipart/form-data') {
    return next();
}

var gfs = Grid(req.ctx.app.database.connection.db, mongo); 

req.body  || (req.body = {});
req.files || (req.files = {});

var form = req.form,
    body      = req.body,
    files     = req.files,
    cb_called = false;

var parts = {};
var info = '';

var fileId = mongoose.Types.ObjectId();
var gfs_ws;

form.on('part', function(part) {
    if (part.filename) { ///// THIS IS CALLED MORE THAN ONCE for each part.filename???? on large files -- but why???
        sendPart(part);
    }
});

form.on('field', function(name, value) {
    if ( Array.isArray(body[name]) ) {
        body[name].push(value);
    }else if (body[name]) {
        body[name] = [body[name], value];
    }else{
        body[name] = value;
    }
});

form.on('error', function(err) {
    if (err && err.length > 1){
        res.statusCode = 200;
        res.send({success: false, err: err});
    }
});

form.on('close', function() {
    try {
        //req.body = qs.parse(body); // if additional fields sent - for now we ignore them
    }
    catch (err) {
        return next(err);
    }
    res.send({ success: true }); //, id: fileId.toString() });
});

form.parse(req);

function contentType(req) {
    return req.headers['content-type'] && req.headers['content-type'].split(';')[0];
}

function sendPart(part) {

    if (!gfs_ws) { // THIS IS MY ATTEMPT TO STREAM ALL PARTS OF THE SAME FILE TO THE SAME GRIDFS RECORD - but really we should only ever have called sendPart(part) once for each file
        var options = {
            _id: fileId, // a MongoDb ObjectId
            filename: part.filename, // a filename
            mode: 'w', // default value: w+, possible options: w, w+ or r, see [GridStore](http://mongodb.github.com/node-mongodb-native/api-generated/gridstore.html)

            //any other options from the GridStore may be passed too, e.g.:
            //chunkSize: 1024, 
            content_type: part.headers['content-type'], //file.type , // For content_type to work properly, set "mode"-option to "w" too!
            //root: 'my_collection',
            metadata: {
                    recordId: req.params.recordid,
                    elementId: req.params.elementid
                }
        };
        gfs_ws = gfs.createWriteStream(options);
    }

    part.pipe(gfs_ws);

}

}

当我发布小文件(即 <100kb)时 form.on('part' ... 每个文件部分仅调用一次 - 每个字段部分调用一次。我在帖子中只有文件 - 所以 sendPart (部分)只被调用一个，文件被放入 GridFs 和快乐的日子。

但是 - 对于较大的文件，即 > 100kb - form.on('part' - 对于同一文件多次调用 - 即，part.filename 是

Answer 1

您可能不希望像您可能那样设置正文解析器来执行此操作。您实际上想要直接使用 pipe 接口(interface)。

有两件事，首先配置express以禁用主体解析器中的mutipart功能。这篇文章中描述:

How to disable Express BodyParser for file uploads (Node.js)

其次使用管道连接到gridfs-stream ，作为另一个组件。这篇文章给出了一个示例用法:

Storing data stream from POST request in GridFS, express, mongoDB, node.js