python - 如何使用 Python 加速从 SQL 查询插入到 Redis

Question

我执行了一个 SQL 查询，它进入我的 Python 程序大约 500 毫秒(大约 10 万行)。

我想快速将它插入到 redis 中，但目前需要大约 6 秒，即使使用管道也是如此。

pipe = r.pipeline()
for row in q:
    pipe.zincrby(SKEY, row["name"], 1)
pipe.execute()

有什么办法可以加快速度吗？

Answer 1

问题是您在排序集中插入了大量项目。 Redis 文档说 zincrby 的时间复杂度是 O(log(N))，其中 N 是排序集中的元素数。所以你插入的项目越多，花费的时间就越长。在这种情况下，您可能应该重新考虑使用 Redis 的方式。也许排序集不是您用例的最佳答案。