airflow - 带有Airflow的AWS Batch执行器

Question

我目前正在使用EC2实例在Amazon Web服务上使用气流。最大的问题是实例的平均使用率约为2％...

我想使用可伸缩的体系结构，并仅在工作期间创建实例并将其杀死。我在路线图中看到，AWS BATCH应该在2017年成为执行者，但此事并不新鲜。

您是否知道是否可以将AWS BATCH用作所有气流作业的执行程序？

问候，
罗曼

Answer 1

当前有一个SequentialExecutor，一个LocalExecutor，一个DaskExecutor，一个CeleryExecutor和一个MesosExecutor。我听说他们正在针对2.0推出AIRFLOW-1899，以引入KubernetesExecutor。因此，纵观Dask和Celery，似乎他们不支持按任务创建其工作人员的模式。 Mesos可能，Kubernetes应该这样做，但是随后您必须相应地为 worker 扩展集群，以解决在不需要时关闭节点的问题。

我们做了一些工作来获得云形成设置，其中 celery worker 可以根据来自被标记 worker 的平均cpu负载的云监视的指标来向外扩展和扩展。