celery - Airflow :何时使用 CeleryExecutor 何时使用 MesosExecutor

Question

我对 Airflow 很陌生，并试图了解我们应该如何在我们的环境中(在 aws 上)设置它。

我读了 Airflow 使用 Celery 和 redis 代理。
它与 Mesos 有何不同？我之前没有使用过 Celery，但我尝试在我的开发机器上设置 celery-redis 并且它很容易工作。但是添加新组件意味着添加更多监控。

由于我们已经使用 mesos 进行集群管理，我想如果我不选择 celery 而是使用 MesosExecutor，我会错过什么？

Answer 1

使用 Celery 是目前更成熟/稳定的方法。

对我们来说，使用容器管理依赖比在 Mesos 实例上管理依赖更方便，如果你选择 MesosExecutor 就是这种情况。因此，我们发现 Celery 更加灵活。

我们目前正在使用 Celery + RabbitMQ，但随着我们的代码库稳定，我们将来会切换到 MesosExecutor。