gpt4 book ai didi

python - 如何设置导入,以便 Airflow 在任务正常运行时不显示错误

转载 作者:行者123 更新时间:2023-12-04 15:23:42 26 4
gpt4 key购买 nike

我们正在 GCP 上使用 cloud composer 在 airflow 1.10.6 上开发 ETL。一切正常,但我们不断在日志和界面中收到有关相对导入的错误消息,除非每个任务都正常运行

ERROR - Failed to import: /home/airflow/gcs/dags/filepath.py attempted relative import with no known parent package

具有相同架构和相同导入的其他文件不会产生相同的错误。运行命令 imp.load_source 时,它在 process_file 中失败。如果我们改为非相关导入,它也能很好地工作。

您是否知道在这个 process_file 中执行了哪个文件以及我们如何解决这个错误(仅在日志记录中而不是在执行中)。

谢谢你的帮助

最佳答案

所以我们发现 airflow 出于某种不明原因将其视为 dag 并尝试将其作为 dag 导入。我们已将此文件的文件夹添加到 .airflowignore 文件中,它解决了问题

关于python - 如何设置导入,以便 Airflow 在任务正常运行时不显示错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62773378/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com