python - 使用 Andy McCurdy 的 python-for-redis 库配置连接池大小

Question

我有一个使用 Andy McCurdy 的 python 库的 python 加载器，它打开多个 Redis 数据库连接并设置数百万个键循环遍历行文件，每行包含一个整数，该整数是该记录的 redis-db 编号。目前总共只有 20 个数据库开放，但最终可能会多达 100 个或更多。

我注意到 redis 日志(设置为详细)总是告诉我“有 4 个客户端已连接(0 个从属)，...虽然我知道我的 20 个已打开并正在使用。

所以我猜这是关于 python 库中内置的连接池支持。我的猜测是否正确？如果是这样，真正的问题是有没有办法增加池大小——我有足够的机器资源，很多专门用于 Redis？随着我建立的虚拟连接数量的增加，增加池大小是否有助于提高性能？

在这一点上，我实际上一次只点击一个连接，尽管我在其中随机输入记录时打开了很多连接。但最终会有许多脚本(2 打？)并行访问 Redis，主要是读取，我想知道增加池大小会有什么影响。

谢谢马修

Answer 1

So I'm guessing this is about the connection pooling support built into the python library. Am I correct in that guess?

是的。

If so the real question is is there a way to increase the pool size

不需要，默认情况下它将增加最多 2**31 个连接(andys 库)。所以你的连接无论如何都是空闲的。

如果你想提高性能，你将需要改变使用redis的应用。

and I am wondering what effect increasing the pool size would have.

没有，至少在这种情况下没有。

如果redis在某个时候成为瓶颈，而你有一个多核服务器。您必须运行多个 redis 实例以提高性能，因为它仅在单个内核上运行。当您运行多个实例并且主要进行读取时，从属功能可以提高性能，因为从属可用于所有读取。