airflow - 为什么在Apache Airflow中通过PythonOperator使用CustomOperator？

Question

当我使用Apache Airflow时，我似乎无法找到为什么有人会在CustomOperator上创建PythonOperator的原因。如果我在PythonOperator而不是CustomOperator中使用python函数，是否会导致相同的结果？

如果有人知道什么是不同的用例和最佳实践，那就太好了! !

非常感谢你的帮助

Answer 1

两个相似的运算符实际上处于不同的抽象级别，并且取决于您的用例，一个可能比另一个更合适。

CustomOperator中定义的代码可以被多个DAG轻松使用。如果您有很多需要执行相同任务的DAG，则通过CustomOperator将此代码公开给DAG可能更有意义。

PythonOperator非常通用，更适合一次性DAG特定任务。

归根结底，Airflow中提供的默认运算符(operator)集只是工具。最终使用哪种工具(默认运算符)或创建自己的自定义工具(自定义运算符)是否有意义取决于一系列因素:

您要完成的任务的类型。

政策或人数所必需的代码组织要求
维护管道。

简单的个人品味。