python - 用于 elasticbeanstalk 上自动缩放的 django 应用程序的多个 celerybeat 实例

Question

我正在尝试找出构建 Django 应用程序的最佳方法，该应用程序使用 Celery 在自动扩展的 AWS ElasticBeanstalk 环境中处理异步和计划任务。

到目前为止，我只使用了带有 Celery + Celerybeat 的单实例 Elastic Beanstalk 环境，而且效果非常好。但是，我希望在我的环境中运行多个实例，因为时不时有一个实例崩溃，并且需要很长时间才能备份该实例，但我无法将当前架构扩展到多个实例，因为Celerybeat 应该只在所有实例中运行一次，否则 Celerybeat 安排的每个任务都将提交多次(环境中的每个 EC2 实例一次)。

我已经阅读了多种解决方案，但它们似乎都存在不适合我的问题:

• 使用 django 缓存 + 锁定:这种方法更像是一种快速修复，而不是真正的解决方案。如果您有很多计划任务并且需要添加代码来检查每个任务的缓存，那么这不是解决方案。此外，任务仍然会被多次提交，这种方法只能确保停止执行重复项。
• 将 leader_only 选项与 ebextensions 一起使用:最初工作正常，但如果环境中的 EC2 实例崩溃或被替换，这将导致根本没有 Celerybeat 运行的情况，因为领导者仅在创建时定义一次环境。
• 为 Elastic Beanstalk 工作层中的异步任务创建一个新的 Django 应用程序:很好，因为网络服务器和工作人员可以独立扩展，并且网络服务器性能不会受到工作人员执行的大量异步工作负载的影响。但是，这种方法不适用于 Celery，因为工作层 SQS 守护程序会删除消息并将消息正文发布到预定义的 url。此外，我不喜欢拥有一个完整的附加 Django 应用程序的想法，该应用程序需要从主应用程序导入模型，并且如果在主应用程序中修改了任务，则需要单独更新和部署。

如何在分布式 Elastic Beanstalk 环境中将 Celery 与计划任务结合使用，而无需重复任务？例如。我如何才能确保在 Elastic Beanstalk 环境中所有实例始终运行一个实例(即使当前使用 Celerybeat 的实例崩溃)？

还有其他方法可以实现吗？将 Elastic Beanstalk 的工作层环境与 Django 结合使用的最佳方式是什么？

Answer 1

我想您可以将 celery beat 分给不同的组。

您的自动缩放组运行多个 django 实例，但 celery 未包含在缩放组的 ec2 配置中。

你应该有一组不同的(或只有一组)celery beat 实例