python - Python多个进程而不是线程？

Question

我正在一个Web后端上工作，该后端经常从Web上获取实时市场数据，并将数据放入MySQL数据库中。

目前，我将主线程推送任务放入Queue对象。然后，我有大约20个线程从该队列中读取，并且如果有任务可用，它们将执行该线程。

不幸的是，我遇到了性能问题，经过大量研究，我无法下定决心。

如我所见，我有3个选择:
我应该对像Celery这样的东西采取分布式任务方法吗？
我应该切换到JPython或IronPython以避免GIL问题吗？
还是应该简单地生成不同的进程而不是使用处理来生成线程？
如果我选择后者，那么多少个过程就足够了？什么是好的多流程生产者/消费者设计？

谢谢!

Answer 1

也许您应该使用event-driven方法，并使用面向事件驱动的框架，例如twisted(python)或node.js(javascript)，例如，该框架利用UNIX域套接字，因此您的使用者在某个端口监听事件，并且您的事件generator对象将所有信息推送给使用者，因此您的使用者不必每次都检查队列中是否有东西。