docker - 使用 docker 进行 CI/CD 时节省空间的最佳实践是什么？

Question

我正在使用 CircleCI 和 docker 进行 CI/CD 管道。基本上，每次将新代码推送到 GitHub 时，我都会将 (python) 应用程序和环境包装在新的 docker 镜像中。然后，我将镜像推送到由 Nexus 托管的私有(private) Docker 注册表，并通过从该注册表中提取最新镜像并运行容器来部署我的应用程序。

我的问题是这些 docker 镜像占用了大量空间:

    REPOSITORY                       TAG                 IMAGE ID            CREATED             SIZE
my-app   0.1.23              6f13476770c2        3 minutes ago       1.99GB
my-app   0.1.22              7ff62dddb50a        10 minutes ago      1.99GB
my-app   0.1.21              55af2d3235c7        3 hours ago         1.99GB
my-app   0.1.20              304543b7fc71        5 hours ago         1.99GB
my-app   0.1.17              fddcef3f262b        2 weeks ago         1.99GB
my-app   0.1.16              a62c9ba1f997        2 weeks ago         1.99GB
my-app   0.1.12              a8d87d86699a        2 weeks ago         1.99GB

由于运行环境在镜像中占用了大量空间，并且它不会频繁更改(不像更改代码那么频繁)，因此我认为一遍又一遍地构建相同的依赖项/环境会浪费大量空间。所以问题是我的做法正确吗？如果不是，最佳实践是什么。提前致谢!

附注我使用的环境需要一些依赖项(numpy、tensorflow等)，这些依赖项需要GCC，因此如果我没有记错的话，我不能不使用python alpine图像。

我的 Dockerfile:

FROM python:3.6-stretch
# Install app dependencies
RUN apt-get update && apt-get install -y \
    python3-dev \
    python3-pip

RUN mkdir /opt/working_dir/
WORKDIR /opt/working_dir/

# Copy the entire project into the current directory
COPY . ./
RUN pip install --upgrade pip
RUN pip install -r requirements.txt

一些 docker 镜像历史记录:

$ docker image history my-app:0.1.23
6f13476770c2        19 hours ago        /bin/sh -c pip install -r requirements.txt      955MB               
<missing>           19 hours ago        /bin/sh -c pip install --upgrade pip            4.97MB              
<missing>           19 hours ago        /bin/sh -c #(nop) COPY dir:5bb6533618d16964c…   16.5MB              
<missing>           19 hours ago        /bin/sh -c #(nop) WORKDIR /opt/reco_engine/     0B                  
<missing>           19 hours ago        /bin/sh -c mkdir /opt/reco_engine/              0B                  
<missing>           19 hours ago        /bin/sh -c apt-get update && apt-get install…   90.6MB              
<missing>           6 days ago          /bin/sh -c #(nop)  CMD ["python3"]              0B                  
<missing>           6 days ago          /bin/sh -c set -ex;   wget -O get-pip.py 'ht…   6.04MB              
<missing>           6 days ago          /bin/sh -c #(nop)  ENV PYTHON_PIP_VERSION=19…   0B                  
<missing>           6 days ago          /bin/sh -c cd /usr/local/bin  && ln -s idle3…   32B                 
<missing>           6 days ago          /bin/sh -c set -ex   && wget -O python.tar.x…   65.3MB              
<missing>           6 days ago          /bin/sh -c #(nop)  ENV PYTHON_VERSION=3.6.8     0B                  
<missing>           6 days ago          /bin/sh -c #(nop)  ENV GPG_KEY=0D96DF4D4110E…   0B                  
<missing>           6 days ago          /bin/sh -c apt-get update && apt-get install…   16.9MB              
<missing>           6 days ago          /bin/sh -c #(nop)  ENV LANG=C.UTF-8             0B                  
<missing>           6 days ago          /bin/sh -c #(nop)  ENV PATH=/usr/local/bin:/…   0B                  
<missing>           6 days ago          /bin/sh -c set -ex;  apt-get update;  apt-ge…   562MB               
<missing>           6 days ago          /bin/sh -c apt-get update && apt-get install…   142MB               
<missing>           6 days ago          /bin/sh -c set -ex;  if ! command -v gpg > /…   7.81MB              
<missing>           6 days ago          /bin/sh -c apt-get update && apt-get install…   23.2MB              
<missing>           6 days ago          /bin/sh -c #(nop)  CMD ["bash"]                 0B                  
<missing>           6 days ago          /bin/sh -c #(nop) ADD file:843b8a2a9df1a0730…   101MB 

$ docker image history my-app:0.1.22
IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT
7ff62dddb50a        19 hours ago        /bin/sh -c pip install -r requirements.txt      955MB               
<missing>           19 hours ago        /bin/sh -c pip install --upgrade pip            4.97MB              
<missing>           19 hours ago        /bin/sh -c #(nop) COPY dir:f054e43f5766a4738…   16.5MB              
<missing>           19 hours ago        /bin/sh -c #(nop) WORKDIR /opt/reco_engine/     0B                  
<missing>           19 hours ago        /bin/sh -c mkdir /opt/reco_engine/              0B                  
<missing>           19 hours ago        /bin/sh -c apt-get update && apt-get install…   90.6MB              
<missing>           6 days ago          /bin/sh -c #(nop)  CMD ["python3"]              0B                  
<missing>           6 days ago          /bin/sh -c set -ex;   wget -O get-pip.py 'ht…   6.04MB              
<missing>           6 days ago          /bin/sh -c #(nop)  ENV PYTHON_PIP_VERSION=19…   0B                  
<missing>           6 days ago          /bin/sh -c cd /usr/local/bin  && ln -s idle3…   32B                 
<missing>           6 days ago          /bin/sh -c set -ex   && wget -O python.tar.x…   65.3MB              
<missing>           6 days ago          /bin/sh -c #(nop)  ENV PYTHON_VERSION=3.6.8     0B                  
<missing>           6 days ago          /bin/sh -c #(nop)  ENV GPG_KEY=0D96DF4D4110E…   0B                  
<missing>           6 days ago          /bin/sh -c apt-get update && apt-get install…   16.9MB              
<missing>           6 days ago          /bin/sh -c #(nop)  ENV LANG=C.UTF-8             0B                  
<missing>           6 days ago          /bin/sh -c #(nop)  ENV PATH=/usr/local/bin:/…   0B                  
<missing>           6 days ago          /bin/sh -c set -ex;  apt-get update;  apt-ge…   562MB               
<missing>           6 days ago          /bin/sh -c apt-get update && apt-get install…   142MB               
<missing>           6 days ago          /bin/sh -c set -ex;  if ! command -v gpg > /…   7.81MB              
<missing>           6 days ago          /bin/sh -c apt-get update && apt-get install…   23.2MB              
<missing>           6 days ago          /bin/sh -c #(nop)  CMD ["bash"]                 0B                  
<missing>           6 days ago          /bin/sh -c #(nop) ADD file:843b8a2a9df1a0730…   101MB  

Answer 1

1. 找出您的应用的共同点。这将成为您的应用部署的基准镜像。
2. 创建一个以您的公司命名的基准图像。称之为app-base。
3. 每张图片均基于应用程序库。它执行使用基础的构建步骤。查找多阶段构建。
4. 您的app-base 图像绝对要尽可能小。它不包括虚拟机所做的事情。您从一个小的基础镜像开始，然后不断地工作，使其变得非常小。
5. 提交和部署都是小改动。您的应用程序构建依赖于app-base。您的应用大小取决于您的应用程序大小，但您不应该提供开发工具。

我假设你运行 python。例如，您的图像是 2GB。 Alpine Linux Python docker 镜像大小为 80MB。您的应用程序可能会再添加 100MB。如果您有许多 native 依赖项，​​那么可能很难分解它或使用 Alpine(假设您需要 GCC)。

如果一切顺利，您的应用程序基础镜像将是 80MB，而您要部署的 CI 构建的应用程序镜像将是 100MB。这 80MB 不会被一遍又一遍地占用，因为您的 Nexus 服务器将重用其中包含 Python 的 app-base (来自 Alpine Python 或您自己的自定义)。采用这种方法可能会节省大量空间(这意味着速度)。

但这取决于您的应用及其遗留程度。

“最佳”实践(没有这样的东西，但这里有一些提示):

• 如果可以的话，使用 alpine Linux 镜像作为基准。与 GCC 部门进行权衡。
• 为您的公司制作您自己的小图像，如果需要，还可以进行自定义。
• 尽可能少地添加。如果您需要编译某些内容，请添加编译工具作为阶段，并且不要发布它。你不需要它。
• 换句话说，使用多阶段构建
• 如果可以的话，瞄准小型二进制文件。可以编译成二进制吗？节省大量资金。
• 尽量不要像虚拟机一样对待它。即:不要安装 ssh。