node.js - 在 NodeJS 服务器之间发送文件的最有效方式是什么？

Question

介绍

假设在同一个本地网络上，我们有两个使用 Express 设置的 Node JS 服务器:用于 API 的服务器 A 和用于表单的服务器 F。

• 服务器 A 是一个 API 服务器，它接收请求并将其保存到 MongoDB 数据库(文件存储为缓冲区，其详细信息存储为其他字段)
• 服务器 F 提供表单，处理表单提交并将表单数据发送到服务器 A。

在接收服务器为 Express API 的两个 NodeJS 服务器之间发送文件的最有效方法是什么？文件大小在哪里重要？

1。 HTTP方式

如果我发送的文件是 PDF 文件(不会超过 50mb)，通过 HTTP 将整个内容作为字符串发送是否有效？

算法如下:

• 服务器 F 使用 https://www.npmjs.com/package/multer 处理文件请求并保存文件
• 然后服务器 F 读取此文件并通过 https://github.com/request/request 发出 HTTP 请求连同文件的一些细节
• 服务器 A 收到此请求并将文件内容从字符串转换为缓冲区，并在 MongoDB 中保存一条记录以及文件详细信息。

在此算法中，服务器 A(存储到 MongoDB 时)和服务器 F(将文件发送到服务器 A 时)都已将文件读入内存，并且两个服务器之间的请求大小大致相同作为文件。 (50Mb 的请求可以吗？)

但是，需要考虑的一件事是 - 使用这种方法 - 我将在整个过程中使用 ExpressJS 风格的 API，并且它将与应用程序的其余部分保持一致，其中 /list, /details 请求也在路由中定义。我喜欢一致性。

2。 Socket.IO方式

与此算法相比，我探索了 https://github.com/nkzawa/socket.io-stream脱离服务器 A 上 HTTP API 一致性的方式(因为 socket.io 事件的处理程序不是在路由中定义的，而是在具有 var server = http.createServer(app); 的文件中定义的>).

服务器 F 在 routes/some_route.js 中处理表单数据:

router.post('/', multer({dest: './uploads/'}).single('file'), function (req, res) {
    var api_request = {};
    api_request.name = req.body.name;
    //add other fields to api_request ...

    var has_file = req.hasOwnProperty('file');

    var io = require('socket.io-client');

    var transaction_sent = false;
    var socket = io.connect('http://localhost:3000');
    socket.on('connect', function () {
        console.log("socket connected to 3000");

        if (transaction_sent === false) {
            var ss = require('socket.io-stream');
            var stream = ss.createStream();

            ss(socket).emit('transaction new', stream, api_request);

            if (has_file) {
                var fs = require('fs');
                var filename = req.file.destination + req.file.filename;

                console.log('sending with file: ', filename);

                fs.createReadStream(filename).pipe(stream);
            }

            if (!has_file) {
                console.log('sending without file.');
            }
            transaction_sent = true;

            //get the response via socket
            socket.on('transaction new sent', function (data) {
                console.log('response from 3000:', data);
                //there might be a better way to close socket. But this works.
                socket.close();
                console.log('Closed socket to 3000');

            });

        }


    });


});

我说过我要处理小于 50Mb 的 PDF 文件。但是，如果我将来使用此程序发送更大的文件，socket.io 是否是处理 1GB 文件的更好方法，因为它使用流？

此方法确实会发送文件和详细信息，但我是这个库的新手，不知道它是否应该用于此目的，或者是否有更好的利用方法。

最后的想法

我应该探索哪些替代方法？

• 我是否应该通过 SCP 发送文件并发出 HTTP 请求，其中包含文件详细信息(包括我发送文件的位置)，从而将文件协议(protocol)和 API 请求分开？
• 我是否应该始终使用流，因为它们不会将整个文件存储到内存中？ (这就是他们的工作方式，对吧？)
• 这https://github.com/liamks/Delivery.js ？

引用资料:

• File/Data transfer between two node.js servers这让我尝试了套接字流方式。
• transfer files between two node.js servers over http HTTP方式

Answer 1

有很多方法可以实现这一点，但要做到正确的方法并不多!

当您将 socket io 和 wesockets 与浏览器一起使用时它们是高效的，但由于您不这样做，因此没有必要。

您可以尝试的第一种方法是使用 nodejs 的内置 Net 模块，基本上它会在服务器之间建立 tcp 连接并传递数据。

你还应该记住，你需要发送数据 block 而不是整个文件，net 模块的 socket.write 方法似乎很适合你的情况检查它: https://nodejs.org/api/net.html

但是根据文件的大小和并发性，内存消耗可能会非常大。

如果您在两台服务器上都运行 linux，您甚至可以使用名为 scp 的简单 linux 命令将文件从零开始发送

nohup scp -rpC /var/www/httpdocs/* remote_user@remote_domain.com:/var/www/httpdocs &

您甚至可以使用 windows 到 linux 或其他方式执行此操作。

http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html

windows的客户端scp是pscp.exe

希望对您有所帮助!