redis - 使用lua的redis列表上的数值函数

Question

我是 lua 和 redis 的新手。我正在考虑使用 redis 来支持一些实时查询。作为概念证明和性能健全性测试，我将值汇总在一个列表中。

docker-compose.yml

version: '3.1'

services:
  redis:
    image: redis:4.0.13-alpine
    ports:
      - "6379:6379"

python脚本

import redis
import numpy as np


n = 1000000

redis_host = "localhost"
redis_port = 6379
redis_password = ""

arr = np.random.rand(n)

r = redis.StrictRedis(host=redis_host, port=redis_port, password=redis_password, decode_responses=True)
r.delete('mylist')
r.lpush('mylist', *arr.tolist())
print(np.sum(arr))

lua_sum = """
local result = redis.call('lrange', KEYS[1], 0, -1)
local sum = 0
for i=1, #result, 1 do
    sum = sum + result[i]
end
return tostring(sum)
"""

f = r.register_script(lua_sum)
print(f(keys=['mylist']))

使用ipython timeit，redis版本需要一秒多一点。我(天真地？)期望延迟至少降低一个数量级。脚本中有什么效率极低的地方吗？请注意，我意识到这个特定的用例可以通过预处理来处理，但这只是一个简单的开始。

编辑timeit 命令具体是:

In [2]: %timeit f(keys=['mylist'])
1 loop, best of 3: 1.31 s per loop

In [3]: %timeit np.sum(arr)
1000 loops, best of 3: 1.04 ms per loop

Answer 1

你的 Lua 脚本调用 LRANGE 从 Redis 中获取 100 万个数字，即 LRANGE key, 0, -1，这是非常低效的。 Redis 需要从一个列表中读取 100 万个数字，并将这些数据传递给 Lua。这将需要很长时间。

此外，您正试图在一次调用中LPUSH 100 万个数字到 Redis，这也是一个非常糟糕的主意，因为它可能会阻塞 Redis 很长时间。