python - Airflow - 没有名为 "airflow.providers"或 "airflow.contrib.providers"的模块

Question

我们正在尝试将 MongoHook 和 GCSToLocalFilesystemOperator 导入到我们的 Airflow 项目中:

• docs for MongoHook
• docs for GCS Operator

...根据 this post , “Airflow 不再包含 Providers 包，但您可以使用特定的 backport 包通过 pip 单独安装它们”

我运气不好。对于我们的 DockerFile，我们开始使用 this image来自 GitHub 上的 puckel/docker-airflow 存储库。

我尝试将这两行添加到我们的 requirements.txt

apache-airflow-backport-providers-mongo
apache-airflow-backport-providers-google

...我已经尝试将这些行添加到我们的 DockerFile 中:

    && pip install apache-airflow-backport-providers-mongo \
    && pip install apache-airflow-backport-providers-google \

...我们得到了标题中提到的错误。我如何将它们安装到我们的 docker 图像/容器中以在我们的 Airflow 项目中使用它们？

编辑:快速检查是否是我没有重建图像的问题

edit2:需要重建图像；但是，现在我们收到错误 No module named 'airflow.utils.process_utils'，这是我们在导入 GCSToLocalFilesystemOperator 时得到的。不知道为什么 Airflow 将 providers 从基本安装中移除，这非常令人沮丧......

Answer 1

我最初问题的答案是我需要重建 docker 镜像 (DOH)。

我认为我的第二个问题的答案是我安装了这些包两次(一次在 Dockerfile 中使用显式 pip 安装，一次在 requirements.txt 中，它也是在 Dockerfile 中安装的 pip)。当我删除重复安装时，它现在似乎可以正常工作了。