python - 使用大型 ETA 调度 celery 任务

Question

我目前正在使用 ETA 在 celery 中试验 future 的任务功能和 redis 代理。使用 redis 代理的已知问题之一与 visibility timeout 有关。 :

If a task isn’t acknowledged within the Visibility Timeout the task will be redelivered to another worker and executed.

This causes problems with ETA/countdown/retry tasks where the time to execute exceeds the visibility timeout; in fact if that happens it will be executed again, and again in a loop.

我可以设想的一些任务将在几周/几个月的时间尺度上有一个 ETA。设置 visibility timeout大到足以涵盖这些任务可能是不明智的。
是否有任何方法可以使用 redis 代理处理这些任务？我知道 this question .更换经纪人是唯一的选择吗？

Answer 1

我通过以下方式使用 redis 执行此操作:
我们的客户可以安排发布他们的某些内容。我们将发布与应该执行的时间一起存储在我们的数据库中。
然后我们使用 celery beat 执行周期性任务(每小时或适合您的任务)，检查我们的发布表中是否有计划在下一个时间段内(再次小时或适合您的内容)的发布。如果找到，我们会用 celery 为他们安排一项任务。这允许我们有一个短的 ETA。