apache-spark - 尝试运行 SparkPi 示例时出现 ClassNotFoundException

Question

我正在尝试运行文档中的第一个示例:

Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.0.0 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).

当我运行命令时会发生这种情况:

./bin/run-example examples/src/main/scala/org/apache/spark/examples/SparkPi.scala 10


Exception in thread "main" java.lang.ClassNotFoundException: org.apache.spark.examples.examples/src/main/scala/org/apache/spark/examples/SparkPi.scala
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:270)
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:289)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我使用的是For Hadoop 2(HDP2、CDH5)版本

已经尝试过 scala 2.9.3、2.10.3 和 2.11

一些想法？

Answer 1

您需要指定示例类的名称，而不是源文件的路径；尝试一下

./bin/run-example SparkPi 10

这在 Running the Examples and Shell 中有描述。 Spark 文档部分。