javascript - Node redis 发布者消耗过多内存

Question

我使用 node_redis 在 Node 中编写了一个小型 redis 发布者图书馆。程序完成发布 1M 条消息后，它会继续占用大约 350 MB 的内存。谁能提供任何线索为什么程序需要这么多内存以及如何释放内存？

以下是代码片段 -

var redis = require("redis"),
    publisher = redis.createClient();
    var i = 0;
    for (;;) {
        publisher.publish("rChat", i);
        i++;
        if (i == 1000000) {
            console.log("stopped sending messages");
            setTimeout(function(){publisher.end();},1000);
            break;
        }
    }
    setTimeout(function() {
            console.log("Keeping console alive");
        }, 1000000);

Answer 1

这里有两个问题。

为什么程序需要这么多内存？

我认为是因为没有背压。

您的脚本只向 Redis 发送了 1M 条发布命令，但它不处理对这些命令的任何回复(因此这些命令只是被 node_redis 丢弃)。因为它从不等待任何回复，所以脚本会在内存中为所有这些命令积累大量上下文。 node_redis 需要保留一个上下文来跟踪命令，并关联 Redis 命令和回复。 Node.js 将命令排入队列比系统将这些命令传送到 Redis、处理它们、构建回复并将回复传回给 node.js 更快。因此上下文在增长，它代表了很多内存。

如果你想将内存消耗保持在可接受的水平，你需要减少你的代码，让 node.js 有机会处理 Redis 回复。例如，以下脚本也处理 1M 项，但它将它们作为 1000 项的批处理发布，并等待每 1000 项的回复。因此它消耗的内存非常少(上下文最多包含 1000 个待处理的命令)。

var redis = require("redis"),
    publisher = redis.createClient();

function loop( callback ) {
   var count = 0;
   for ( i=0 ; i < 1000; ++i ) {
        publisher.publish("rChat", i, function(err,rep) {
        if ( ++count == 1000 )
            callback();
        });
   }
}

function loop_rec( n, callback ) {
    if ( n == 0 ) {
        callback();
        return;
    }
    loop( function() {
        loop_rec( n-1, callback );
    });
}

function main() {
    console.log("Hello");
    loop_rec(1000, function() {
        console.log("stopped sending messages");
        setTimeout(function(){publisher.end();},1000);
        return;
    });
}

publisher.ping(main)

setTimeout(function() {
    console.log("Keeping console alive");
}, 1000000);

内存可以释放吗？

通常，它不能。与所有 C/C++ 程序一样，node.js 使用内存分配器。当内存被释放时，它不是释放给系统，而是释放给内存分配器。通常，内存分配器无法将未使用的内存归还给系统。请注意这不是泄漏，因为如果程序执行新的分配，内存将被重用。

编写一个可以实际向系统释放内存的 C/C++ 程序通常需要设计一个自定义的内存分配器。很少有 C/C++ 程序能做到这一点。最重要的是，node.js 包含一个带有 v8 的垃圾收集器，因此它应该对内存释放策略施加额外的限制。