用于将 redis key 读取为流的 node.js 模块

Question

我在 Node.js 上读取 Redis 中的键时遇到问题，它们将数据保存到 mongodb。因为键的数量很大(130 万)，这会导致 JavaScript 堆内存不足。

任何人都可以建议我一些 Node.js 模块来将 Redis key 读取为流或解决此问题的其他一些解决方案，这样我就可以避免此问题。

非常感谢!

Answer 1

ioredis ( https://github.com/luin/ioredis ) 确实支持流。

SCAN 来自自述文件的示例。

var redis = new Redis();
// Create a readable stream (object mode)
var stream = redis.scanStream();
var keys = [];
stream.on('data', function (resultKeys) {
  // `resultKeys` is an array of strings representing key names
  for (var i = 0; i < resultKeys.length; i++) {
    keys.push(resultKeys[i]);
  }
});
stream.on('end', function () {
  console.log('done with the keys: ', keys);
});