java - Flink 1.9 没有方案 : hdfs on kubernetes 的文件系统

Question

我正在尝试将我的项目从 Flink 1.4 升级到 Flink 1.9。在 1.4 上，我正在构建一个 fat jar，其中包含我的所有 hadoop 2.9.2 依赖项，然后我用它提交到 k8s 上的 Flink 集群。我没有在集群上设置hadoop。

当我将项目升级到 1.9 并升级集群时，我无法在集群上运行代码，尽管它在我的 IntelliJ IDE 上运行得很好。异常(exception)是:

java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:172)
...

由于我没有在 flink 中包含任何 hadoop 依赖项，因此我假设它仍然可以工作，因为所有依赖项都打包到 fat jar 中，因为它在 1.4 上工作得很好。

我尝试将依赖项添加到shaded-hadoop2，但这并不能解决问题

    compile group: 'org.apache.flink', name: 'flink-shaded-hadoop2-uber', version: '2.4.1-1.8.2'

我猜测为 flink 设置 hadoop 路径可能可以修复它，并且一直在努力尝试理解我应该如何在 Dockerfile 中执行此操作。我是否需要解压 hadoop 2 二进制文件或创建一些 jar 并将它们添加到 /flink/lib 中？

我的 Dockerfile 目前看起来像这样:

FROM openjdk:8-jre
MAINTAINER User "myemail@gmail.com"
LABEL version="v1.9.0"

ENV FLINK_HOME=/flink
ENV FLINK_CONF_DIR=/flink/conf
ENV FLINK_APPS_DIR=/flink/apps
ENV FLINK_LIB_DIR=/flink/lib

RUN mkdir -p ${FLINK_HOME}
RUN mkdir -p ${FLINK_CONF_DIR}
RUN mkdir -p ${FLINK_APPS_DIR}
RUN mkdir -p ${FLINK_LIB_DIR}

ENV PATH=$FLINK_HOME/bin:$PATH
ENV CLASSPATH=.:$FLINK_APPS_DIR:$FLINK_LIB_DIR

COPY dist/flink-1.9.0-bin-scala_2.11.tgz ${FLINK_HOME}/flink.tgz
WORKDIR ${FLINK_HOME}

COPY prepare-deployment.sh /
RUN chmod +x /prepare-deployment.sh
RUN /prepare-deployment.sh
RUN rm -rf /prepare-deployment.sh


COPY Tools/netstat /bin/netstat
COPY Tools/ttyd-static-amd64 /bin/ttyd
COPY Tools/jq /bin/jq
COPY Tools/checktm /bin/checktm
COPY Tools/checktm_log /bin/checktm_log

COPY docker-entrypoint.sh /
RUN chmod +x /docker-entrypoint.sh
RUN chmod -R 755 /bin
RUN chmod -R 777 /flink
RUN chmod -R 777 /etc
EXPOSE 6122 6123 6124 6125 6126 6127 8080 8081
ENTRYPOINT ["/docker-entrypoint.sh"]
CMD ["--help"]

Answer 1

在 Flink 源代码中，您会发现 flink-container目录，其中包含用于构建 Docker 镜像的 build.sh 脚本和 Dockerfile 等。它们的设置是为了帮助您正确获取这些详细信息，并且经过参数化以包括hadoop库根据您的需要。