javascript - Node : How to free buffers that get allocated outside of the V8 memory heap

Question

我有一个应用程序，我按顺序从服务器下载 mp3 文件，将它们临时存储在我的服务器中，然后将它们直接流式传输到客户端，如下所示:

function downloadNextTrack(){
  var request = http.get('http://mp3server.com', function(response){
    response.on('data', function(data) {
      fs.appendFile('sometrack.mp3', data, function (err) {});
    });
    response.on('end', function(){
      streamTrack('sometrack.mp3');
    }
  });
};

var clients = []; // client response objects are pushed to this array when they request the stream through a route like /stream.mp3

var stream;

function streamTrack(track){
  stream = fs.createReadStream(track);
  stream.on('data', function(data){
    clients.forEach(function(client) {
      client.write(data);
    });
  });
  stream.on('end', function(){
    downloadNextTrack(); // redoes the same thing with another track
  }
};

显然这段代码正在创建大量操作系统未释放的缓冲区，当我运行“free -M”命令时，这就是我得到的结果(在运行应用程序大约 4 小时后):

                   total      used       free     shared    buffers     cached
              Mem: 750        675         75          0         12        180
-/+ buffers/cache:            481        269
             Swap: 255        112        143

“缓冲区”下的数字不断增加(以及缓存的内存)并且操作系统显然不会回收那 180mb，直到最终我的应用程序内存不足并在我尝试生成一个小进程来验证时崩溃轨道的比特率、采样率、id3 信息等。

我已经使用许多不同的工具(例如 memwatch 和 nodetime)进行诊断，以确定它是否是内部内存泄漏，而事实并非如此，V8 内存堆以及 Node RSS 变化 +/- 10mb但大部分情况下保持不变，而操作系统可用内存越来越低(当 Node 进程启动时，我有大约 350MB 的可用内存)。

我在某处读到，Node 分配的 Buffer 实例可以直接访问原始内存，因此 V8 无法控制它们(这证实了我没有从 V8 堆中获取内存泄漏这一事实)，这件事是，我需要一种方法来摆脱这些旧缓冲区。这可能吗？或者我是否必须每 5 小时左右重新启动我的应用程序(或者更糟，购买更多 RAM!)？

附言。我在 Ubuntu 10.04 上运行 Node v0.8.16。

Answer 1

我同意蒂亚戈的观点，我认为这是由于代码的递归性质造成的。我不认为流会吞噬您的堆，因为正如您所说，每次迭代都会使用新的 ReadStream 重新分配流变量。但是，第 2 行中的 http.get 请求和响应(以及它们使用的任何缓冲区)在调用下一次迭代之前永远不会被释放；它们在 downloadNextTrack 函数范围内。您最终得到一个递归堆栈跟踪，每个文件都有一组请求和响应对象(以及一些底层缓冲区)。

一般来说，如果这段代码需要运行很多很多次，为什么不选择退出递归并全部迭代呢？永无休止的递归总是会吞噬越来越多的内存，直到程序崩溃，即使您没有内存泄漏也是如此。