javascript - Redis 流式处理 LIST 响应

Question

我们希望从 Redis 得到一个响应作为流，类似于Postgres Streams .

我们有使用尽可能少的服务器内存的约束。我们的某些列表可能约为 10MB，并且同时多个用户请求。

以老式的方式执行此操作将最终导致我们的服务器出现内存问题。

另一种解决方案是迭代列表并发送 lrange 命令，每批返回列表项的一部分，但由于网络往返，这将是低效的。

这是我现在所拥有的，这是做事的标准方式:

'use strict'

const redis = require('redis'),
    client = redis.createClient()

client.on('error', function (err) {
  console.log('Error ' + err)
})

client.rpush('foo', 1)
client.rpush('foo', 2)
client.rpush('foo', 3)
client.rpush('foo', 4)
client.rpush('foo', 5)

client.lrange('foo', 0, -1, (err, replies) => {
  console.log(replies)
})

Answer 1

Streaming 还没有在 Redis 中实现，所以分页是一个很好的方法。也就是说，List 数据结构不能很好地支持该模式，因为 LRANGE 是一项昂贵的 (O(N)) 操作。

我建议您考虑另一种数据结构，例如 Sorted Sets 或 v5 Streams 来存储您的数据。