python - 树中的生产者和消费者队列

Question

我正在阅读如何利用 Python 队列在节点之间发送和接收短消息。我正在模拟一组位于良好树结构中的节点。我希望其中一些节点向其父节点发送固定大小的数据。一旦这个父节点从它的一些子节点接收到数据，它就会“处理”它并向它的父节点发送一个“聚合”数据包......等等。

为了做到这一点，我被告知队列对于传递消息很有用，并且快速阅读它告诉我它将满足我的需求。但是，我发现实现基本设置并测试我的理解有点困难 - 1 个生产者(生成消息包)和 1 个消费者(使任务出列并处理它的工作线程)。

我在这里和其他地方搜索并阅读了很多帖子......并且我了解所有队列方法。我仍然不明白的是如何将队列关联或绑定(bind)到 2 个给定节点。

我希望节点 1 和节点 2 向节点 3 发送消息。对于这一基本场景，我必须以某种方式创建一个(或 2 个)队列并将其与节点 1 和节点 2“关联”，节点 2 和节点使用它来将消息放入节点 3 中。并且，node-3 还必须“监听”/“关联”此队列才能“获取”任务或使任务出列。

如果节点 1 和节点 2 是“生产者”，我应该将它们作为 2 个独立的线程，而节点 3 是第三个线程。然后，我必须创建一个队列 Q。然后，我应该让节点 1 和节点 2 创建消息，并将它们“放入”队列中。 Node-3 必须“以某种方式”得到通知/唤醒，才能从 Q 中“获取”这些消息并进行处理。

我见过

http://docs.python.org/library/queue.html#module-Queue

这是我迄今为止拥有的(未经测试的)代码:

================================================== =================

import threading
import queue

q = Queue.Queue(2)   # create a queue of size 2.

# worker is node-3 which received msgs from 1 and 2 and fuses them.
def worker():
    while True:
        msg = q.get()
        fuse_msgs(msg)
        q.task_done()

# generate 3 worker threads. Node-3 could be both a producer and consumer. Each
# thread represents each node that will be a potential producer/consumer or both.
# need something like t1 - thread-1 for node-1 ...

for i in range(3):
     t = Thread(target=worker)
     t.setDaemon(True)
     t.start()

# How can I make node-1 and node-2 to put items into a specified queue???



for msg in source():
    q.put(item)

q.join()  

============================================

我的方向正确吗？请让我知道我错在哪里以及我的误解......

感谢任何帮助。我有数百个节点和链接。如果我弄清了这个基础知识，我将能够顺利地继续前进......

谢谢，B.R.斯里尼。

Answer 1

我不是特别评论 python 代码，但就你的队列设计而言，似乎你只需要在你描述的节点 1,2,3 场景中一个队列。基本上，您有一个队列，其中节点 1 和节点 2 将消息放入其中，节点 3 从中读取消息。

您应该能够告诉节点 3 在队列中进行“阻塞”获取，因此它只会等待，直到它看到要处理的消息，并让节点 1 和 2 尽快生成输出尽可能。

根据每个节点的处理速度以及您期望的流量模式，您可能需要一个深度超过 2 条消息的队列，以便生产节点不必等待队列被清空。