scala - Spark中的FSDataInputStream ClassNotFoundException

Question

我是激发应用程序编程的新手，因此在这里为这个基本的编程而苦苦挣扎。

我有 scala ide 并附加了来自最新 hadoop 和 spark 发行版的相关 jar 文件。我正在使用的只有一个基本的 scala 对象 -
Hadoop - 2.7
Spark - 2.0.0

我在这两种情况下都尝试过，当 hadoop 进程在我的笔记本电脑上运行时以及当它们没有运行时......它的行为相同。顺便说一句， Spark 壳没有提示任何事情

import org.apache.spark.SparkConf

object SparkAppTest {
  def main(args : Array[String]) {
    val conf = new SparkConf().setAppName("Spark test")
    conf.setMaster("spark://master:7077")
    conf.setSparkHome("/hadoop/spark")
    conf.set("spark.driver.host","localhost")

  }
}

当我尝试使用 eclipse“运行”它时 -> 作为 scala 应用程序运行，这将失败并出现以下错误 -

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
    at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:65)
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:60)
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:55)
    at SparkAppTest$.main(SparkAppTest.scala:6)
    at SparkAppTest.main(SparkAppTest.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 5 more

Answer 1

谢谢@cricket_007。

我之前有选择地将 jars 添加到库路径中。当我从 Spark 的分发目录 (spark/jars) 添加所有 jars 时，它不再提示了。