kubernetes - Airflow Kubernetes Executor 是否运行任何 Operator？

Question

我正在评估将当前的 Airflow 部署从 Celery 执行器迁移到 Kubernetes (K8s) 执行器，以利用资源的动态分配和 pod 提供的任务隔离。

我很清楚，我们可以使用原生的 KubernetesPodOperator 通过 K8s 执行器在 K8s 集群上运行任务。但是我找不到有关 K8s 执行器与其他运算符(例如 bash 和 athena)之间兼容性的信息。

问题是是否可以在 K8s 支持的 Airflow 上运行 bash(或任何其他)操作符，或者我应该将所有任务迁移到 KubernetesPodOperator？

谢谢!

Answer 1

Kubernetes执行器将与所有运营商合作。
使用 kubernetes 执行器将为每个任务创建一个工作单元 pod，而不是像 celery 执行器那样使用 celery 工作单元。

使用KubernetesPodOperator将拉取任何特定镜像来启动 Pod 并执行您的任务。
因此，如果您要将 KubernetesPodOperator 与 KubernetesExecutor 一起使用，Airflow 将为您的任务启动一个工作 Pod，并且该任务将启动一个 Pod 并监控其执行情况。 1 个任务 2 个 Pod。

如果您将 BashOperator 与 KubernetesExecutor 一起使用，Airflow 将启动一个工作 Pod 并在该工作 Pod 上执行 bash 命令。 1 个 Pod 用于 1 个任务。