gpt4 book ai didi

python - 如何在虚拟环境中运行 Airflow PythonOperator

转载 作者:太空狗 更新时间:2023-10-29 20:28:55 24 4
gpt4 key购买 nike

我有几个当前正在使用 BashOperator 执行的 python 文件。这让我可以灵活地轻松选择 python 虚拟环境。

from airflow import DAG
from airflow.operators.bash_operator import BashOperator

default_args = {
'owner': 'airflow',
'depends_on_past': False,
...}

dag = DAG('python_tasks', default_args=default_args, schedule_interval="23 4 * * *")

t1 = BashOperator(
task_id='task1',
bash_command='~/anaconda3/envs/myenv/bin/python
/python_files/python_task1.py',
dag=dag)

我怎样才能使用 PythonOperator 实现同样的效果?

from airflow.operators.bash_operator import PythonOperator
import python_files.python_task1

python_task = PythonOperator(
task_id='python_task',
python_callable=python_task1.main,
dag=dag)

我假设 PythonOperator 将使用系统 python 环境。我发现 Airflow 有 PythonVirtualenvOperator,但这似乎可以通过使用指定的要求动态创建一个新的虚拟环境来工作。我更愿意使用已经正确配置的现有的。如何使用指定的 python 路径运行 PythonOperator?

最佳答案

我的解决方法是使用 Bash 运算符调用 /path/to/project/venv/bin/python my.py

关于python - 如何在虚拟环境中运行 Airflow PythonOperator,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49738173/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com