python - 带有 R (rocker/r.base) 和 python 的 Docker 镜像在 EC2 上运行时无法工作，但本地就可以了

Question

我最近开始使用docker。看起来非常令人兴奋，事实上您可以构建一次应用程序并在任何机器上运行它们，这听起来很神奇!

事实是我经历过一些别的事情。我有一个 R 图像作为基础(rocker/r.base)，我想在其中安装 python，因此我可以在该图像上运行一个 Flask 应用程序，该应用程序将公开一个端点，一旦调用该端点，它将运行一个 R 脚本并记录一些结果。

整个内容是 docker-compose 文件的一部分(compose 上还有 3-4 个图像，所有图像都执行单独的操作)。

所以我设法构建图像并使用 docker-compose 在本地运行它。

当我尝试将镜像部署到 AWS EC2 实例时，奇怪的事情开始了。到目前为止，我已经成功在 AWS 上运行了其他镜像。但对于这个特定的图像，由于我遇到一些库依赖错误，构建失败，修复此问题后，执行失败。要了解更多详细信息:

• 最初，我在构建时遇到了 AWS 上的依赖项错误(本地没有此类错误)。因此，为了克服这个问题，我修改了 Dockerfile，以便它单独安装这些依赖项。这有效!我的形象终于建立起来了。但随后:
• 我设法将 Web 应用程序暴露给端点。然后我尝试调用 R 脚本，并且发现系统找不到 Rscript 命令(我将其明确定义为/usr/bin/Rscript ，它在本地运行良好 - 并且我使用 python 的 subprocess.call 来运行 R 脚本) .

看来 Rscript 没有安装在我的 AWS 容器上!这可能是因为我进行了手动安装，其中我使用了 --allow-downgrades 因此将安装正确的版本。我怀疑这些降级可能会删除一些库？

无论如何，我实在无法弄清楚出了什么问题。这对我来说听起来很糟糕。我认为一旦你在本地运行某些东西，那么你就可以使用 docker 在任何地方运行它，但似乎情况并非如此，或者我错过了一些非常糟糕的东西。

顺便说一句，我的本地生产(AWS)服务器使用相同版本的docker(1.12.3，构建6b644ec)和docker-compose(版本1.7.0，构建0d7bf73)，并且我已经为两台机器启用了i386架构(只是如果这是问题所在，则两者实际上都使用 amd64)。

不确定我是否期望从这篇文章中得到答案，到目前为止我在谷歌搜索时还没有发现类似的情况，但如果有人以前遇到过这种情况，请畅所欲言! :)

干杯，巴比斯

更新:

你说得绝对正确，Yaron。我附上更多信息。首先，docker-compose.yml:

version: '2'
services:
  recommend.service:    # This service is fine both locally and on AWS
    build:
      context: .
      dockerfile: ./docker/recommend.service.Dockerfile
    ports:
     - "8081:8081"
    restart: always
    env_file: .env
  cltv.service:     # This is the service that has problems to be built and run on AWS. Locally is fine
    build:
      context: .
      dockerfile: ./docker/cltv.service.Dockerfile
    ports:
     - "8082:8082"
    restart: always
    env_file: .env
  rabbit:       # Works everywhere
    image: rabbitmq
    hostname: smart.rabbitmq
    restart: always
    volumes:
      - rabbit.data:/var/lib/rabbitmq
  celery:       # Works everywhere
    build:
      context: .
      dockerfile: ./docker/smart.celery.Dockerfile
    depends_on:
     - rabbit
    restart: always
    env_file: .env
volumes:
  rabbit.data:
    driver: local

还有./docker/cltv.service.Dockerfile:

## Adapted from zamora/r-devtools
## Start with the official rocker image (lightweight Debian)
FROM rocker/r-base:latest

MAINTAINER Babis <cparavalos@gmail.com>

ENV DEBIAN_FRONTEND noninteractive

RUN mkdir -p /usr/src/cltv_app
WORKDIR      /usr/src/cltv_app

COPY requirements.txt           /usr/src/cltv_app/requirements.txt
COPY requirements-cltv.txt      /usr/src/cltv_app/requirements-cltv.txt
COPY cltv/                      /usr/src/cltv_app/cltv/
COPY services/                  /usr/src/cltv_app/services/

# Install external dependencies
RUN apt-get update -qq \
 && apt-get install -y --no-install-recommends --allow-downgrades \
 libcurl3=7.50.1-1 \        # I added that because of dependencies issue while building in the server. Locally I didn't need it
 libcurl4-openssl-dev \
 libssl-dev \
 libsqlite3-dev \
 libxml2-dev \
 qpdf \
 vim \
 libgsl-dev \
 && apt-get clean \
 && rm -rf /var/lib/apt/lists/ \
 && rm -rf /tmp/downloaded_packages/ /tmp/*.rds

# Install devtools and testthat
RUN install2.r --error \
    devtools \
    testthat \
    gsl

# Install some required libraries
RUN Rscript -e 'devtools::install_github("mplatzer/BTYDplus", dependencies=TRUE)'

## Note: I had added the below in order to get a succesful build because of the dependencies errors. In my local, the image is built and run without these!!!
#RUN apt-get update
#RUN apt-get install -y --allow-downgrades libkrb5support0=1.14.3+dfsg-2
#RUN apt-get install -y libkrb5-3=1.14.3+dfsg-2
#RUN apt-get install -y libk5crypto3=1.14.3+dfsg-2
#RUN apt-get install -y libgssapi-krb5-2=1.14.3+dfsg-2
#RUN apt-get update
#RUN apt-get install -y krb5-multidev

# Install python and postgres required packages
RUN apt-get update
RUN apt-get install -y python3.4 python3-dev libpq-dev python-pip

RUN pip install --no-cache-dir -r requirements.txt
RUN pip install --no-cache-dir -r requirements-cltv.txt
RUN pip install -e cltv/.

EXPOSE 8082

# Set a big timeout
CMD ["/usr/local/bin/gunicorn", "--log-config", "cltv/logging.conf",  "cltv.wsgi:app", "--bind", "0.0.0.0:8082", "--timeout", "86400"]

我用以下方式触发整个过程:

docker-compose up --build -d

谢谢，如果您需要查看有关设置的其他内容，请提出建议!

Answer 1

原因是 r.base 与某些 python 包发生冲突，无法在该 R 镜像中使用 python。

我最终得到了一个以 ubuntu 为基础的 docker-inside-docker 镜像的解决方案。我在 ubuntu 镜像中安装了所需的 python 库，在其上安装了 docker，并在该镜像中使用 docker 构建了此 r.base 镜像。然后我使用 docker run 从 ubuntu 容器内部运行，并设法完成我的工作:)