scala - 在没有 sbt 的情况下运行 Spark sbt 项目？

Question

我有一个可以从 sbt 控制台运行的 Spark 项目。但是，当我尝试从命令行运行它时，我得到线程“主”java.lang.NoClassDefFoundError 中的异常:org/apache/spark/SparkContext。这是预料之中的，因为 Spark 库在 build.sbt 中列为provided。

如何配置才能从命令行运行 JAR，而无需使用 sbt 控制台？

Answer 1

要独立运行 Spark，您需要构建一个 Spark 程序集。在 spark 根目录上运行 sbt/sbt assembly。这将创建:assembly/target/scala-2.10/spark-assembly-1.0.0-SNAPSHOT-hadoop1.0.4.jar

然后你用依赖项构建你的工作 jar(使用 sbt assembly 或 maven-shade-plugin)

您可以使用生成的二进制文件从命令行运行您的 spark 作业:

ADD_JARS=job-jar-with-dependencies.jar SPARK_LOCAL_IP=<IP> java -cp spark-assembly-1.0.0-SNAPSHOT-hadoop1.0.4.jar:job-jar-with-dependencies.jar com.example.jobs.SparkJob

注意:如果您需要其他 HDFS 版本，则需要在构建程序集之前执行其他步骤。参见 About Hadoop Versions