scala - 无法从 JAR 文件加载主类

Question

我有一个 Spark-scala 应用程序。我试图显示一条简单的消息 - “Hello my App”。当我用 sbt compile 编译它并用 sbt run 运行它时，没问题。我成功显示了我的消息，但他显示错误；像这样:

Hello my application!
16/11/27 15:17:11 ERROR Utils: uncaught error in thread SparkListenerBus,   stopping SparkContext
        java.lang.InterruptedException
     ERROR ContextCleaner: Error in cleaning thread
    java.lang.InterruptedException
     at org.apache.spark.ContextCleaner$$anon$1.run(ContextCleaner.scala:67)
    16/11/27 15:17:11 INFO SparkUI: Stopped Spark web UI at http://10.0.2.15:4040
    [success] Total time: 13 s, completed Nov 27, 2016 3:17:12 PM
    16/11/27 15:17:12 INFO DiskBlockManager: Shutdown hook called

不知道好不好!此外，当我在运行后尝试加载我的文件 jar 时，它显示错误。

我的命令行看起来像:

spark-submit "appfilms" --master local[4] target/scala-2.11/system-of-recommandation_2.11-1.0.jar

错误是:

Error: Cannot load main class from JAR file:/root/projectFilms/appfilms
Run with --help for usage help or --verbose for debug output
16/11/27 15:24:11 INFO Utils: Shutdown hook called

请你回答我好吗!

Answer 1

该错误是由于SparkContext没有停止，这是Spark 2.x以上版本的要求。应通过 SparkContext.stop() 或 sc.stop() 停止以防止此错误。解决此错误的灵感来自于自己的经验和以下来源:Spark Context , Spark Listener Bus error