python-3.x - 我如何Dockeries一个包含spark依赖项的python脚本？

Question

我有一个Python文件，在其中尝试导入Spark库。
当我使用Docker File构建它时，由于未设置“JAVA_HOME”，这给了我错误。
我试图通过Docker文件安装Java，但是它也给出了错误。
以下是我尝试执行的Dockerfile。

FROM python:3.6.4
RUN apt-get update && \
    apt-get upgrade -y && \
    apt-get install -y  software-properties-common && \
    add-apt-repository ppa:webupd8team/java -y && \
    apt-get update && \
    echo oracle-java7-installer shared/accepted-oracle-license-v1-1 select true | /usr/bin/debconf-set-selections && \
    apt-get install -y oracle-java8-installer && \
    apt-get clean 

ENV JAVA_HOME /usr/lib/jvm/java-8-oracle

ADD Samplespark.py /
COPY Samplespark.py /opt/ml/Samplespark.py

RUN pip install pandas
RUN pip install numpy
RUN pip install pyspark
RUN pip install sklearn
RUN pip install sagemaker_pyspark
RUN pip install sagemaker

CMD [ "python", "./Samplespark.py" ]

ENTRYPOINT ["python","/opt/ml/Samplespark.py"]

请帮助我在Docker中安装PySpark的Java依赖项。

Answer 1

您有Debian操作系统，而不是ubuntu操作系统。这些ppas用于ubuntu操作系统。根据this的说法，由于许可问题，文章oracle java8在Debian中不可用。
您有以下选择-
1.使用预先安装了oracle java8的Ubuntu docker镜像，例如one
2.按照tutorial的说明，了解如何在Debian Jessie上安装Oracle java8
3.安装open_jdk sudo apt-get install openjdk-8-jre