apache-spark - Spark for Kubernetes Mac 测试

Question

尝试从提供的下载构建图像。使用“源代码”包选项下载，而不是 Hadoop 版本。按照 spark.apache.org/docs/2.3.0/running-on-kubernetes.html#docker-images 构建 docker 镜像的第一步。在 Mac 上运行带有 K8s 的 Docker CE。

使用终端:在 spark 文件夹中运行:

./bin/docker-image-tool.sh -r cloud.docker.com/xxxx/spark build

所有运行到这里:

Step 5/14 : COPY ${spark_jars} /opt/spark/jars COPY failed: stat /var/lib/docker/tmp/docker-builder840552377/assembly/target/scala-2.12/jars: no such file or directory

请帮助新手!不确定此文件夹结构在哪里或发生了什么。
请不要假设我做了正确的事情……我可能在运行之前错过了一个明显的安装。笑过后会感激帮助。 :-)

谢谢

Answer 1

确保您已经克隆了正确的 spark项目，然后使用此命令构建 spark

./build/mvn -Pkubernetes -DskipTests clean package

如果您只是需要解决当前的错误，请使用此命令(-pl 用于构建指定模块，其中 spark-assembly_2.11 是 assembly/pom.xml 文件中定义的 artifactId。)

build/mvn -pl :spark-assembly_2.11 clean install

Scala jar 将在 Assembly 模块文件夹中可用。