python - 如何避免 Apache Airflow 中工作节点依赖项的 DAG 导入错误？

Question

我正在开发基于容器的 Apache Airflow 应用程序。我的环境由以下组件组成:

• Airflow 调度器容器
• Airflow 网络服务器容器
• Airflow celery 花容器
• Airflow Worker 容器 (1)
• 等等

我对这种模式的理解是，我可以拥有一个调度程序和一个网络服务器容器，其中仅包含 Airflow 的必要依赖项，然后我可以拥有一个(或多个)工作节点，其中包含我运行 DAG 所需的一切。

当我尝试以这种方式使用它时(例如，在工作节点中添加和使用模块，假设它是 crypto 模块)，我得到一个 DAG 导入错误 前端异常，内容如下:ModuleNotFoundError:没有名为“crypto”的模块。

这对我来说很有意义，因为调度程序知道我将需要该模块来执行并抛出错误，尽管 DAG 正确工作，因为当它运行时，在工作节点中，它具有所有必需的依赖关系。

我该如何解决这个问题？

谢谢

Answer 1

目前，您需要同步对 Scheduler 和 Worker 的依赖。

调度程序在单独的进程中解析 DAG 文件(每个 DAG 文件一个)，因此如果 DAG 文件中使用的依赖项未安装在调度程序中，它将在数据库中添加一个 ImportError，然后显示在网络服务器中。