python - Python 的长时间运行、轮询、排队过程。最好用什么东西？

Question

如果有人询问，请随意关闭和/或重定向，但这是我的情况:

我有一个应用程序，需要执行一系列小工作单元(轮询 Web 服务直到完成某些操作，然后解析大约 1MB 的 XML 并将其放入数据库中)。我想要一个简单的异步排队机制，它将轮询队列中要完成的工作，执行需要完成的工作单元，并具有允许生成多个工作进程的灵 active ，以便这些工作单元可以并行完成。 (如果有某种事件框架我也可以在工作完成时监听，那就太好了。)

我确信有东西可以做到这一点。我是在描述 Twisted 吗？我浏览了文档，我只是不确定我的问题如何准确地映射到他们的框架上，但我没有花太多时间在它上面。我应该只看Python 中的多进程库吗？还有别的吗？

Answer 1

有celery .

您可以将其分解为 2 个不同的任务:第一个任务轮询 Web 服务并对第二个任务进行排队，第二个任务负责解析 XML 并保存它。