mysql - NodeJS - 处理 100 多个并发连接的内存不足

Question

我正在开发一个 IoT 应用程序，客户端每 2 秒向服务器发送一次生物电势信息。客户端每 2 秒发送一个包含 400 行数据的 CSV 文件。我的服务器上运行着一个 Socket.IO websocket 服务器，它从每个客户端捕获这些信息。一旦捕获到此信息，服务器必须每 2 秒为每个客户端将这 400 条记录推送到 mysql 数据库中。虽然只要客户端数量很少，这种方法就可以很好地工作，但随着客户端数量的增加，服务器开始抛出“进程内存不足异常”。

以下是收到的异常:

<--- Last few GCs --->
   98522 ms: Mark-sweep 1397.1 (1457.9) -> 1397.1 (1457.9) MB, 1522.7 / 0 ms [allocation failure] [GC in old space requested].
  100059 ms: Mark-sweep 1397.1 (1457.9) -> 1397.0 (1457.9) MB, 1536.9 / 0 ms [allocation failure] [GC in old space requested].
  101579 ms: Mark-sweep 1397.0 (1457.9) -> 1397.0 (1457.9) MB, 1519.9 / 0 ms [last resort gc].
  103097 ms: Mark-sweep 1397.0 (1457.9) -> 1397.0 (1457.9) MB, 1517.9 / 0 ms [last resort gc].


<--- JS stacktrace --->

==== JS stack trace =========================================

Security context: 0x35cc9bbb4629 <JS Object>
    2: format [/xxxx/node_modules/mysql/node_modules/sqlstring/lib/SqlString.js:~73] [pc=0x6991adfdf6f] (this=0x349863632099 <an Object with map 0x209c9c99fbd1>,sql=0x2dca2e10a4c9 <String[84]: Insert into rent_66 (sample_id,sample_time, data_1,data_2,data_3) values ? >,values=0x356da3596b9 <JS Array[1]>,stringifyObjects=0x35cc9bb04251 <false>,timeZone=0x303eff...

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - process out of memory
Aborted

以下是我的服务器的代码:

var app = require('express')();
var http = require('http').Server(app);
var io = require('socket.io')(http);
var mysql = require('mysql');

var conn = mysql.createConnection({
    host: '<host>',
    user: '<user>',
    password: '<password>',
    database: '<db>',
    debug: false,
});

conn.connect();

io.on('connection', function (socket){
   console.log('connection');
var finalArray = []
   socket.on('data_to_save', function (from, msg) {
   var str_arr = msg.split("\n");
   var id = str_arr[1];
   var timestamp = str_arr[0];
   var data = str_arr.splice(2);
   finalArray = [];
   var dataPoint = [];
   data.forEach(function(value){
        dataPoint = value.split(",");
        if(dataPoint[0]!=''){
                finalArray.push([dataPoint[0],1,dataPoint[1],dataPoint[2],dataPoint[3]]);
                finalArray.push([dataPoint[0],1,dataPoint[4],dataPoint[5],dataPoint[5]]);
        }
   });
   var sql = "Insert into rent_"+id+" (sample_id,sample_time, channel_1,channel_2,channel_3) values ? ";
   var query = conn.query (sql, [finalArray],function(err,result){
       if(err)
           console.log(err);
        else
         console.log(result);
   });

   conn.commit();
   console.log('MSG  from ' +  str_arr[1] + ' ' + str_arr[0] );

});

});
http.listen(9000, function () {
  console.log('listening on *:9000');
});

我能够让服务器处理 100 个并发连接，之后我开始接收进程内存不足异常。在引入数据库插入之前，服务器只是将 csv 作为文件存储在磁盘上。通过该设置，服务器能够处理 1200 多个并发连接。

根据 Internet 上可用的信息，看起来数据库插入查询(异步的)将 400 行数组保存在内存中，直到插入完成。结果，随着客户端数量的增加，服务器的内存占用量增加，最终会耗尽内存。

我确实查看了互联网上关于 --max_old_space_size 的许多建议，我不确定这是一个长期的解决方案。另外，我不确定我应该根据什么来决定应该在此处提及的值。

此外，我还阅读了有关异步实用程序模块的建议。然而，串行插入数据可能会在客户端插入数据和服务器将数据保存到数据库之间引入巨大的延迟。

这个问题我绕了很多圈。服务器有没有办法处理来自 1000 多个并发客户端的信息，并以最小的延迟将该数据保存到 Mysql 数据库中。我在这里遇到了障碍，非常感谢这方面的任何帮助。

Answer 1

我将总结我的意见，因为他们向您发送了解决问题的正确途径。

首先，您必须确定问题是否由您的数据库引起。最简单的方法是注释掉数据库部分并查看可以扩展到多高。如果您在没有内存或 CPU 问题的情况下进入数千，那么您的注意力可以转移到找出为什么将数据库代码添加到组合中会导致问题。

假设问题是由您的数据库引起的，那么您需要开始了解当有大量事件数据库请求时它是如何处理事情的。通常，对于繁忙的数据库，首先要使用的是 connection pooling .这为您提供了三个有助于扩大规模的主要因素。

1. 它使您可以快速重用以前打开的连接，这样您就不必让每个操作都创建自己的连接然后关闭它。
2. 它允许您指定同时连接池中的最大数据库连接数(控制您对数据库施加的最大负载，也可能限制它将使用的最大内存量)。超出该限制的连接将排队(这通常是您在高负载情况下想要的，因此您不会压垮您拥有的资源)。
3. 它可以更容易地查看您是否有连接泄漏问题，而不是仅仅在您用完某些资源之前泄漏连接，池将在测试中很快变空并且您的服务器将无法处理更多事务(因此您更有可能在测试中发现问题)。

然后，您可能还想查看数据库连接的事务时间，以了解它们处理任何给定事务的速度。您知道每秒尝试处理的事务数，因此您需要查看您的数据库及其配置和资源分配方式(内存、CPU、磁盘速度等)是否能够跟上您的负载想扔给它。