airflow - 如何为 Airflow DAG 任务(或 python 代码)安装依赖模块？ , "Failed to import module"在使用 kuberentesExecutor 时 Airflow DAG

Question

我有一个 Airflow DAG“example_ml.py”，它有一个任务“train_ml_model”，这个任务正在调用/运行一个 python 脚本“training.py”。
-Dags/example_ml.py
-Dags/training.py
当我运行 Dag 时，它无法导入执行训练脚本所需的模块。

DAG 任务的代码片段:

   train_model = PythonOperator(
        task_id='train_model',
        python_callable=training,
        dag = dag
    )

PS:我正在使用 k8s 集群。 Airflow 运行在 k8s 集群中，executor 设置为 kubernetesExecutor。因此，当每个 DAG 被触发时，都会分配一个新的 Pod 来完成任务。

Answer 1

你能提供更多细节吗？你是在本地计算机上运行这个吗？一个容器？你确定安装了这个包？正如您所评论的那样，该错误似乎与缺少包有关。创建要安装的任务可能无法解决问题。理想的情况是在您运行的任何 Airflow 上安装要求