airflow - Apache Airflow 集群的最低硬件要求

Question

设置 Apache Airflow 集群的最低硬件要求是什么。
例如。集群中不同类型节点的 RAM、CPU、磁盘等。

Answer 1

我在伪分布式模式(32 个并行工作线程；Postgres 后端)下使用非常小的实例没有任何问题:

内存 4096 MB

CPU 1000 MHz

VCPU 2 个 VCPU

磁盘 40 GB

如果你想要分布式模式，如果你保持同质化，你应该很好。无论如何， Airflow 不应该真正做繁重的工作；将工作负载推向其他事物(Spark、EMR、BigQuery 等)。

您还必须运行某种消息队列，例如 RabbitMQ。我认为他们也采用 Redis。但是，这并不会真正显着影响您的尺寸。