docker - 运行Docker容器的Docker内部的 Airflow

Question

我在EC2实例上运行 Airflow ，并且正在计划一些启动Docker容器的任务。我怎么做？我需要在 Airflow 容器上安装docker吗？接下来的下一步是什么。我有一个yaml文件，用于旋转容器，它是从puckel/airflow Docker镜像派生的

Answer 1

终于解决了

我的EC2安装程序正在运行unbuntu Xenial 16.04，并使用经过修改的运行 Airflow 的puckel/airflow docker镜像

您需要在Dockerfile中更改的内容

在Dockerfile的顶部添加USER根目录
USER root
安装docker bin对我不起作用，所以我必须安装
docker binary in my docker container
从Docker Inc.存储库安装Docker。
RUN curl -sSL https://get.docker.com/ | sh
在互联网上搜索wrapdocker文件。将其复制到Dockerfile所在文件夹的scripts目录中。这将在 Airflow docker中启动docker守护程序

安装魔术包装
ADD ./script/wrapdocker /usr/local/bin/wrapdockerRUN chmod +x /usr/local/bin/wrapdocker
以用户身份向docker组添加 Airflow ，以便 Airflow 可以运行docker作业
RUN usermod -aG docker airflow
切换到 Airflow 用户
USER airflow
Docker为docker run编写文件或命令行参数

将Docker套接字从Docker Airflow 安装到刚刚安装的Docker镜像
- /var/run/docker.sock:/var/run/docker.sock
你应该很好走!