node.js - 实时股票应用的Redis key设计

Question

我正在尝试构建一个实时股票应用程序。每一秒我都可以从网络服务中获取一些数据，如下所示:

[{"amount":"20","date":1386832664,"price":"183.8","tid":5354831,"type":"sell"},{"amount":"22","date":1386832664,"price":"183.61","tid":5354833,"type":"buy"}]

tid为股票买卖的票号；date 是从 1970.1.1 开始的第二个；price/amount 是什么价格和多少股票交易。

招聘

我的要求是实时向用户显示每分钟/5分钟/小时/天的最高/最低价；实时向用户显示每分钟/5分钟/小时/天的金额总和。

问题

我的问题是如何将数据存储到redis，以便我可以轻松快速地从数据库中获取不同时期的最高/最低交易。

我的设计是这样的:

[date]:[tid]:amount
[date]:[tid]:price
[date]:[tid]:type

我是redis的新手。如果设计是这样的，那意味着我需要使用排序集，会有任何性能问题吗？或者有没有其他方法可以获得不同时期的最高/最低价格。

期待您的建议和设计。

Answer 1

我的建议是存储您感兴趣的所有时间间隔的最小值/最大值/总计值，并根据每个到达的数据点更新当前值。为了避免在读取以前的数据进行比较时出现网络延迟，您可以使用 Lua 脚本完全在 Redis 服务器内完成。

每个数据点(或者，更糟糕的是，每个数据点字段)一个键会消耗太多内存。为了获得最佳结果，您应该将其分组为小列表/散列(请参阅 http://redis.io/topics/memory-optimization )。 Redis 只允许在其数据结构中嵌套一层:如果您的数据有多个字段并且您希望每个键存储多个项目，则您需要自己以某种方式对其进行编码。幸运的是，标准的 Redis Lua 环境包括 msgpack支持这是一种非常有效的二进制类 JSON 格式。您的示例中使用 msgpack “按原样”编码的 JSON 条目长度为 52-53 字节。我建议按时间分组，这样每个键就有 100-1000 个条目。假设一分钟的间隔符合这个要求。那么键控方案将是这样的:

YYmmddHHMMSS — 从 tid 到给定分钟的 msgpack 编码数据点的散列。5m:YYmmddHHMM, 1h:YYmmddHH, 1d:YYmmdd — 包含 min, 的窗口数据哈希max, sum 字段。

让我们看一个示例 Lua 脚本，它将接受一个数据点并根据需要更新所有键。由于 Redis 脚本的工作方式，我们需要显式传递脚本将访问的所有键的名称，即实时数据和所有三个窗口键。 Redis Lua 也有可用的 JSON 解析库，所以为了简单起见，我们假设我们只是将 JSON 字典传递给它。这意味着我们必须对数据进行两次解析:在应用程序端和 Redis 端，但其性能影响尚不清楚。

local function update_window(winkey, price, amount)
    local windata = redis.call('HGETALL', winkey)
    if price > tonumber(windata.max or 0) then
        redis.call('HSET', winkey, 'max', price)
    end
    if price < tonumber(windata.min or 1e12) then
        redis.call('HSET', winkey, 'min', price)
    end
    redis.call('HSET', winkey, 'sum', (windata.sum or 0) + amount)
end

local currkey, fiveminkey, hourkey, daykey = unpack(KEYS)
local data = cjson.decode(ARGV[1])
local packed = cmsgpack.pack(data)
local tid = data.tid
redis.call('HSET', currkey, tid, packed)
local price = tonumber(data.price)
local amount = tonumber(data.amount)
update_window(fiveminkey, price, amount)
update_window(hourkey, price, amount)
update_window(daykey, price, amount)

此设置每秒可执行数千次更新，对内存的消耗不大，并且可以立即检索窗口数据。

更新:在内存部分，如果你想存储更多的数百万，每点 50-60 字节仍然很多。对于这种数据，我认为您可以使用自定义二进制格式、增量编码和随后使用类似 snappy 的 block 压缩来获得低至每点 2-3 个字节的数据。 .这取决于您的要求，是否值得这样做。