python - 如何在 docker 中运行 pytorch 模型服务器？

Question

我正在尝试创建一个 docker 镜像，使其作为服务器运行，为 pytorch 中的模型提供服务。

我在本地机器上将 .pt 模型文件转换为 .MAR 文件然后我在 docker 镜像中复制了 .MAR 文件。我创建了一个 dockerfile:

FROM ubuntu:18.04
ENV TZ=Asia/Shanghai
ENV DEBIAN_FRONTEND noninteractive 
RUN apt-get update \
    && apt-get install --yes --no-install-recommends \
    tzdata

RUN ln -snf /usr/share/zoneinfo/${TZ} /etc/localtime\ 
    && echo ${TZ} > /etc/timezone \
    && dpkg-reconfigure -f noninteractive tzdata

RUN apt-get install python3 python3-dev python3-pip openjdk-11-jre-headless git wget curl -y
RUN python3 -m pip install torch torchvision torch-model-archiver torchserve==0.2.0
COPY densenet161.mar /model_store/
CMD torchserve --start --model-store model_store --models densenet161=densenet161.mar
EXPOSE 8080

我能够创建图像，但我无法访问该容器当我尝试打开图像并运行代码时它起作用了

docker exec -it 4b126bd87f21 sh

# torchserve --start --ncs --model-store model_store --models densenet161.mar

服务器正在运行。当我运行 docker 图像时，它不工作。 Docker 容器正在运行，但我无法访问服务器。

不知道是什么问题

Answer 1

我希望我能理解这个问题。

当您执行 docker run torchserve:local .... 时，默认情况下它会运行 CMD，即 torchserve --start --model-store model_store --models densenet161=densenet161.mar 但由于该命令在后台运行，您新创建的 docker 容器将立即退出。由于同样的问题，即为了防止 docker 退出，可以添加 tail -f/dev/null。

查看torchserve官方docker入口https://github.com/pytorch/serve/blob/master/docker/dockerd-entrypoint.sh#L12他们在最后尾部它以防止 docker 退出