kubernetes - Airflow 何时使用 KubernetesExecutor 与 KubernetesPodOperator？

Question

Executor 会自动向 Pod 发送任务，还是需要运算符(operator)来做？

每个运算符(operator)都有“executor_config”参数，所以我不确定何时使用。

Answer 1

它们用于不同的目的。

简要地:

KubernetesExecutor :您需要在设置 Airflow 时指定支持的执行程序之一。执行器控制所有任务的运行方式。对于 KubernetesExecutor，Airflow 在 kubernetes 集群中创建一个 pod，在其中运行任务，并在任务完成时删除 pod。

基本上，你会使用它而不是像 celery 这样的东西。

KubernetesPodOperator :本质上，这允许您将容器作为任务运行，并且该容器将在 kubernetes 集群上的 pod 内运行。

如果您有需要在 Airflow 中调度的容器化工作负载，或者如果您有非 Python 代码想要作为 Airflow 任务执行，则可以使用它。

希望这是有帮助的。