python - redis-py 订阅在读取消息时被阻塞

Question

最近我使用 python 和 redis 构建了一个 smarl messge-driven 项目。我使用一个线程订阅redis channel (这里称为消息线程)；定时器线程；和一个工作线程；当消息线程收到足够的消息时，它会向 worker 发送一个任务。我使用 redis-py 与 redis 通信

消息线程:

订阅redis；

while True:

   get message;

   if len(messages)>threashold: post task to Worker

工作线程:

while True:

   wait task event;

   do task; //this may be heavy

问题来了:工作一段时间后，redis-py subpub 被阻塞了!(ofcource redis 仍在发布消息，但它不再返回，它只是被阻塞了!)。我使用 gdb 附加到它，我看到这样的堆栈框架:

[切换到线程 4 (Thread 1084229984 (LWP 9812))]#0 0x000000302b80b0cf in __read_nocancel () from/lib64/tls/libpthread.so.0(gdb) BT0 0x000000302b80b0cf in __read_nocancel () from/lib64/tls/libpthread.so.0

posix_read 中的 1 0x00000000004e129a(self=变量“self”不可用。)at./Modules/posixmodule.c:6592

PyEval_EvalFrameEx 中的 2 0x00000000004a04c5(f=0x157a8c0，throwflag=变量“throwflag”不可用。)在 Python/ceval.c:4323

我什至使用 redis 'client kill' 命令来终止 python 和 redis 之间的连接，但 python 仍然阻塞在那里，从不返回或引发异常。唯一的方法是使用 kill -9 杀死 python 进程。

然后我评论工作的“执行任务”过程(记住这个任务很重，它会产生大量的网络 io，cpu 计算)，它运行良好并且没有问题。

因此，似乎得出结论:一旦我使用 worker 执行任务，消息线程将在套接字读取时阻塞。

怎么会这样!!

Answer 1

最可能的解释是您在任务处理代码中使用了相同的 Redis 连接。你不应该。

订阅连接后，除了接收消息或运行其他 SUBSCRIBE、PSUBSCRIBE、UNSUBSCRIBE 和 PUNSUBSCRIBE 命令外，您不能将其用于任何其他用途。

您的任务处理代码中可能需要第二个 Redis 连接。