apache-spark - Spark-submit 找不到主类，尽管它确实存在于 jar 文件中

Question

第一:这里是要提交的应用程序jar文件:

$ls -rlta /shared/ysgood/target/yardstick-spark-uber-0.0.1.jar
-rw-r--r--  1 steve  staff  138611565 Aug  6 01:41 /shared/ysgood/target/yardstick-spark-uber-0.0.1.jar

这是要提交的类:

01:55:02/ysgood $jar -tvf target/yardstick-spark-uber-0.0.1.jar | grep SparkCoreRDDBenchmark.class
 15091 Thu Aug 06 01:36:30 PDT 2015 org/yardstick/spark/SparkCoreRDDBenchmark.class

这是提交的尝试:

$spark-submit --master $MASTER --class org.yardstick.spark.SparkCoreRDDBenchmark target/yardstick-spark-uber-0.0.1.jar 

NOTE: SPARK_PREPEND_CLASSES is set, placing locally compiled Spark classes ahead of assembly.
Error: Cannot load main class from JAR 
file:/shared/ysgood/org.yardstick.spark.SparkCoreRDDBenchmark

关于错误:注意jar的路径不正确:如下

/shared/ysgood/org.yardstick.spark.SparkCoreRDDBenchmark

没有意义:它缺少 jar 文件的路径

target/yardstick-spark-uber-0.0.1.jar

Answer 1

在 -class 之后，您必须放置主类的包而不是主类的路径。因此，请检查您的代码中的 SparkCoreRDDBenchmark 类是否在包 org.yardstick.spark 中。
如果是，那么尝试在没有 Spark 的情况下运行您的 jar，看看您是否收到错误无法加载主类。也许在创建 jar 时出现了一些问题。
祝你好运!