docker - Airflow:如何通过 docker-compose.yml 安装 pip 包？

Question

好吧，我可能很愚蠢，但无论如何；
如何通过 airflow 的 docker-compose 文件安装额外的 pip 包?
我假设它们应该是获取 requirements.txt 的标准功能。或者其他的东西。检查他们时repo ，我确实看到了一些 ENV 变量，如 ADDITIONAL_PYTHON_DEPS这暗示我这应该是可能的，但是在 docker-compose 文件中设置这些实际上并没有安装库的。

version: '3'
x-airflow-common:
  &airflow-common
  image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.0.1}
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:@redis:6379/0
    AIRFLOW__CORE__FERNET_KEY: ''
    AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'true'
    AIRFLOW__CORE__LOAD_EXAMPLES: 'false'
    AIRFLOW__API__AUTH_BACKEND: 'airflow.api.auth.backend.basic_auth'
    AIRFLOW__WEBSERVER__EXPOSE_CONFIG: 'true'
    ADDITIONAL_PYTHON_DEPS: python-bitvavo-api

volumes:
    - ./dags:/opt/airflow/dags
    - ./logs:/opt/airflow/logs
    - ./plugins:/opt/airflow/plugins
    - ./requirements.txt:/requirements.txt

显然我的 docker 经验非常有限，但我错过了什么？

Answer 1

在 Airflow 文档 here 上有一个非常详细的指南，说明如何实现您正在寻找的内容。 .根据您的要求，这可能就像使用 From 扩展原始图像一样简单。在创建新 Dockerfile 时使用指令，或者您可能需要自定义图像以满足您的需求。
如果你用 Extending the image 接近你的新 Dockerfile 将是这样的:

FROM apache/airflow:2.0.1
USER root
RUN apt-get update \
  && apt-get install -y --no-install-recommends \
         build-essential my-awesome-apt-dependency-to-add \
  && apt-get autoremove -yqq --purge \
  && apt-get clean \
  && rm -rf /var/lib/apt/lists/*
USER airflow
RUN pip install --no-cache-dir --user my-awesome-pip-dependency-to-add

然后你可以在 docker-compose 文件中添加类似的东西:

...
version: "3"
x-airflow-common: &airflow-common
  build: . # this is optional
  image: ${AIRFLOW_IMAGE_NAME:-the_name_of_your_extended_image
  ...
...

最后，构建您的图像并使用 compose 重新打开所有内容。尝试文档以获取详细信息或完整说明。希望对你有用!