airflow - Airflow 可以扩展多少？

Question

有没有人报告过他们在他们的公司中让 Airflow 扩展了多少？我正在考虑实现 Airflow 来执行 5,000 多个任务，每个任务每小时运行一次，有一天可以将其扩展到 20,000 多个任务。在检查调度程序时，它看起来可能是一个瓶颈，因为它只能运行一个实例，而且我担心调度程序将难以跟上的许多任务。我可以做？

Answer 1

我们每天在我的公司运行数千个任务，并且使用 Airflow 已经有 2 年的大部分时间了。这些 dag 每 15 分钟运行一次，并通过可以随时更改的配置文件生成(从 UI 输入)。

简短的回答 - 是的，它绝对可以扩展到这一点，具体取决于您的基础架构。一些新的 1.10 功能应该比我们运行的运行所有这些任务的 1.8 版本更容易。我们在一个大型 Mesos/DCOS 上运行了这个，它需要大量的微调才能达到稳定点。

长答案 - 虽然它可以扩展到那个，我们发现更好的解决方案是 多个 Airflow 实例 使用不同的配置(调度程序设置、工作人员数量等)针对他们正在运行的类型进行优化。一组运行长时间运行的机器学习作业的 DAG 应该托管在一个不同于运行 5 分钟 ETL 作业的 Airflow 实例上。这也让不同的团队更容易维护他们负责的工作，并更容易迭代所需的任何微调。