python - Bash 运算符错误 : No such file or directory in airflow

Question

我是 Airflow 的新手，正在为 BashOperator 苦苦挣扎。我想在我的 dag.py 中使用 bash 运算符访问 shell 脚本。

我检查过: How to run bash script file in Airflow和 BashOperator doen't run bash file apache airflow

关于如何通过 bash 运算符访问 shell 脚本。

这是我做的:

 cmd = "./myfirstdag/dag/lib/script.sh "

        t_1 = BashOperator(
            task_id='start',
            bash_command=cmd
        )

在运行我的配方并检查 Airflow 时，我收到以下错误:

[2018-11-01 10:44:05,078] {bash_operator.py:77} INFO - /tmp/airflowtmp7VmPci/startUDmFWW: line 1: ./myfirstdag/dag/lib/script.sh: No such file or directory
[2018-11-01 10:44:05,082] {bash_operator.py:80} INFO - Command exited with return code 127
[2018-11-01 10:44:05,083] {models.py:1361} ERROR - Bash command failed

不知道为什么会这样。任何帮助将不胜感激。

谢谢!

编辑注意:我假设它是在某个 Airflow tmp 位置而不是我提供的路径中搜索。但是我如何让它搜索正确的路径。

Answer 1

试试这个:

bash_operator = BashOperator(
    task_id = 'task',
    bash_command = '${AIRFLOW_HOME}/myfirstdag/dag/lib/script.sh '
    dag = your_dag)