python - 通信队列结束

Question

我正在学习使用 Queue 模块，并且对如何使队列使用者线程知道队列已完成感到有些困惑。理想情况下，我想使用 get()如果队列已标记为“完成”，则从使用者线程中抛出异常。有没有比通过附加哨兵值来标记队列中的最后一项更好的方式来传达这一点？

Answer 1

原始(其中大部分已更改；请参阅下面的更新)

基于suggestions的一些(谢谢!)的 Glenn Maynard和其他人，我决定卷起 Queue.Queue 的后代实现了 close方法。它以原始(未打包)的形式提供 module .当我有更多时间时，我会稍微清理一下并妥善包装它。目前该模块仅包含 CloseableQueue类和 Closed异常类。我计划将其扩展为还包括 Queue.LifoQueue 的子类和 Queue.PriorityQueue .

它目前处于非常初步的状态，也就是说，虽然它通过了它的测试套件，但我实际上还没有将它用于任何事情。你的旅费可能会改变。我会用令人兴奋的消息更新这个答案。
CloseableQueue class 与 Glenn 的建议略有不同，即关闭队列将阻止 future put s，但不能阻止 future get s 直到队列被清空。这对我来说最有意义；似乎可以将清除队列的功能添加为与可关闭性功能正交的单独 mixin*。所以基本上是CloseableQueue , 通过关闭队列表明最后一个元素是 put .还有一个选项可以通过传递 last=True 以原子方式执行此操作到最后put称呼。随后调用 put ，随后调用 get一旦队列被清空，以及与这些描述匹配的未完成的阻塞调用，将引发 Closed异常(exception)。

这对于单个生产者为一个或多个消费者生成数据的情况非常有用，但对于消费者正在等待特定项目或一组项目的多方安排也很有用。特别是它没有提供一种方法来确定所有生产者都已完成生产。要使该工作正常进行，需要提供某种方式来注册生产者 (.open() ?)，以及一种表明生产者注册本身已关闭的方法。

非常欢迎建议和/或代码审查。我没有编写大量并发代码，但希望测试套件足够彻底，代码通过的事实表明代码质量，而不是套件缺乏质量。我能够重用队列模块测试套件中的一堆代码:文件本身包含在该模块中，并用作各种子类和例程的基础，包括回归测试。这可能(希望)有助于避免测试部门完全无能。代码本身只是覆盖 Queue.get和 Queue.put更改相当少，并添加了 close和 closed方法。

我有意避免在代码本身和测试套件中使用任何新奇的幻想，如上下文管理器，以努力使代码像 Queue 模块本身一样向后兼容，这确实是相当向后的。我可能会添加 __enter__和 __exit__在某些时候的方法；否则，上下文库的 closing函数应该适用于 CloseableQueue 实例。

*:这里我松散地使用术语“mixin”。如Queue模块的类是老式的，需要使用类工厂函数混合混合；适用一些限制；在 Guido 禁止的情况下，报价无效。

更新

CloseableQueue模块现在提供 CloseableLifoQueue和 CloseablePriorityQueue类。我还添加了一些方便的函数来支持迭代。仍然需要将其重新加工为适当的包装。有一个类工厂函数可以方便地继承其他 Queue.Queue - 派生类。

更新 2
CloseableQueue现在可通过 PyPI 获得，例如和

$ easy_install CloseableQueue

欢迎评论和批评，尤其是来自此答案的匿名投票者。