python - 我可以使用 Tornado+Celery+RabbitMQ+Redis 吗？

Question

对于 Web 上的实时数据流，我计划使用 Redis 作为我的缓存数据层，其中数据是即时的。 Celery 是队列管理器，RabbitMQ 是从 Redis 排队并到达 Tornado 层的代理。该层然后通过 websockets 流到前端。

Redis + RabbitMQ 的组合网上一直没找到。有人可以指导一个可靠的解决方案吗？问题是这样的整合是否可行且可取？

Answer 1

我现在非常成功地一起使用 Tornado 和 RabbitMQ(没有 Celery)。我还做了一些原型(prototype)设计，Redis 也作为数据库插入到系统中。成功的最佳机会是找到可以插入 Tornado 的 ioloop 的异步库。例如有 tornado-redis , pika (对于 RabbitMQ)和 tornado-celery .我应该补充一点，我从未使用过 tornado-celery，所以我不确定它的质量。

从纯架构的角度来看，我认为同时使用 Redis 和 RabbitMQ 没有任何问题。虽然两者都可以用作消息代理，但 RabbitMQ 并不真正适合用作缓存，而 Redis 非常适合该用例。如果您使用的是 memcached 而不是 Redis，这看起来一点也不奇怪，对吧？

此外(也许这是我可以提出的建议 Redis + RabbitMQ 可以工作的最佳论据)，Pinterest 显然使用(或至少使用)两者来运行他们的网站:http://blog.gopivotal.com/pivotal/case-studies-2/using-redis-at-pinterest-for-billions-of-relationships .

我找到了 another source这表示他们最终用另一种解决方案取代了 Celery/RabbitMQ，但显然它已经为他们工作了一段时间。

编辑: 找到一个 Quora link从 2011 年开始说他们实际上也在运行 Tornado!