python - RabbitMQ中如何实现同步生产者调用

Question

我目前正在寻求在 RabbitMQ 生产者-消费者设置中开发一个同步工作流。生产者将消息发布到队列中，消费者大约需要 6-8 秒才能完成处理并将结果返回给消费者。然后，生产者将获得结果并继续执行其余代码，这需要来自消费者的结果。

我理解Message Queues被设计成同步的，但是有什么方法可以实现producer call -> consumer process -> consumer return result to producer 同步过程？我四处寻找，发现 the tutorial from RabbitMQ docs ，它使用忙循环在生产者端进行等待:

rpc_client.py(生产者)

#!/usr/bin/env python
import pika
import uuid

class FibonacciRpcClient(object):

    def __init__(self):
        self.connection = pika.BlockingConnection(
            pika.ConnectionParameters(host='localhost'))

        self.channel = self.connection.channel()

        result = self.channel.queue_declare(queue='', exclusive=True)
        self.callback_queue = result.method.queue

        self.channel.basic_consume(
            queue=self.callback_queue,
            on_message_callback=self.on_response,
            auto_ack=True)

    def on_response(self, ch, method, props, body):
        if self.corr_id == props.correlation_id:
            self.response = body

    def call(self, n):
        self.response = None
        self.corr_id = str(uuid.uuid4())
        self.channel.basic_publish(
            exchange='',
            routing_key='rpc_queue',
            properties=pika.BasicProperties(
                reply_to=self.callback_queue,
                correlation_id=self.corr_id,
            ),
            body=str(n))
        while self.response is None:
            self.connection.process_data_events()
        return int(self.response)

fibonacci_rpc = FibonacciRpcClient()

print(" [x] Requesting fib(30)")
response = fibonacci_rpc.call(30)
print(" [.] Got %r" % response)

rpc_server.py(消费者)

#!/usr/bin/env python
import pika

connection = pika.BlockingConnection(
    pika.ConnectionParameters(host='localhost'))

channel = connection.channel()

channel.queue_declare(queue='rpc_queue')

def fib(n):
    if n == 0:
        return 0
    elif n == 1:
        return 1
    else:
        return fib(n - 1) + fib(n - 2)

def on_request(ch, method, props, body):
    n = int(body)

    print(" [.] fib(%s)" % n)
    response = fib(n)

    ch.basic_publish(exchange='',
                     routing_key=props.reply_to,
                     properties=pika.BasicProperties(correlation_id = \
                                                         props.correlation_id),
                     body=str(response))
    ch.basic_ack(delivery_tag=method.delivery_tag)

channel.basic_qos(prefetch_count=1)
channel.basic_consume(queue='rpc_queue', on_message_callback=on_request)

print(" [x] Awaiting RPC requests")
channel.start_consuming()

但我不认为忙循环 while self.response is None: 是个好主意，因为它给运行这段代码的服务器增加了非常沉重的负载。我尝试使用锁在生产者端获取锁，并将锁对象发送给消费者端，这样消费者就可以在处理完成并释放锁时释放锁。然而，Python 的 RabbitMQ 客户端，Pika , 不允许跨队列传递锁对象。

避免忙等待以实现同步工作流的优雅方法是什么？

Answer 1

消费者应该在其他地方发布结果，而生产者可以等待结果可用。请注意，在 AMQP 消息代理中发布结果通常不是一个好主意。

这是 Celery 中结果后端的设计，所以我建议您做一些非常相似的事情，如果不立即安装 Celery 并放弃 Pika 的手动使用。

https://docs.celeryq.dev/en/latest/userguide/tasks.html#result-backends