java - 如何为 Spark 编译 Java？

Question

我想将Java文件编译为jar。我希望它可以由 Spark 运行。我确实尝试正常编译，但出现了这样的错误。

java.lang.NoClassDefFoundError: JavaWordCount (wrong name: org/apache/spark/examples/JavaWordCount)
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:348)
at org.apache.spark.util.Utils$.classForName(Utils.scala:229)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:700)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

这就是我编译 Java 的方式。

javac -classpath spark-sql_2.11-2.1.1.jar:spark-core_2.11-2.1.1.jar:scala-compiler-2.11.8.jar:scala-library-2.11.8.jar JavaWordCount.java

这就是我制作 jar 文件的方式

jar cvf JavaWordCount.jar JavaWordCount*.class

但是，当我尝试触发提交时，这样做会出现上面的错误。

spark-submit --class JavaWordCount JavaWordCount.jar README.md

我也尝试将类更改为 org.apache.spark.examples.JavaWordCount 但它仍然给我同样的错误。

我哪里出错了？有什么建议吗？PS 我在 Spark 文件夹中使用了示例 JavaWordCount。

Answer 1

我解决了这个问题，只需要 javac 与所有 Spark jar 文件(仅需要的那个)，当再次使用 jar cvf 与 Spark jar 文件时，我没有当我发布问题时不要这样做。