scala - Spark-submit 类未找到异常

Question

我正在尝试使用此快速入门教程使用 spark submit 命令运行这个简单的 spark 应用程序。 http://spark.apache.org/docs/1.2.0/quick-start.html#self-contained-applications .当我尝试使用 spark-1.4.0-bin-hadoop2.6\bin>spark-submit --class 运行它时
SimpleApp"--master local[4] C:/.../Documents/Sparkapp/target/scala-
2.10/simple-project_2.10-1.0.jar 我得到以下异常:

java.lang.ClassNotFoundException: SimpleApp
    at java.net.URLClassLoader$1.run(Unknown Source)
    at java.net.URLClassLoader$1.run(Unknown Source)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(Unknown Source)
    at java.lang.ClassLoader.loadClass(Unknown Source)
    at java.lang.ClassLoader.loadClass(Unknown Source)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Unknown Source)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSub
mit$$runMain(SparkSubmit.scala:633)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:16
9)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:192)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:111)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/17 09:45:11 INFO Utils: Shutdown hook called

有谁知道如何解决这一问题？任何帮助是极大的赞赏。

Answer 1

问题是我们必须将类文件提交给我们想要执行或将用作支持文件的 Spark 集群，因此请按照以下步骤操作 -

创建这个类的jar文件
-> 在 Eclipse 中，您可以将此类导出为 jar 文件。
-> 从命令行

jar cf myJar.jar myClass.class

编辑您的代码如下 -

val jarFile = "SimpleApp.jar"; ＃小路

val conf = new SparkConf().setAppName("简单应用程序").setJars(Array(jarFile));