scala - Intellij中运行Spark出错: "object apache is not a member of package org"

Question

我正在 Intellij 上运行 Spark 程序并收到以下错误:“对象 apache 不是包 org 的成员”。

我在代码中使用了这些导入语句:

import org.apache.spark.SparkContext  
import org.apache.spark.SparkContext._  
import org.apache.spark.SparkConf

上面的导入语句也没有在 sbt 提示符下运行。相应的库似乎丢失，但我不确定如何复制相同的库以及在哪个路径。

Answer 1

确保您在 SBT 中有这样的条目:

scalaVersion := "2.11.8"
libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.1.0", 
  "org.apache.spark" %% "spark-sql" % "2.1.0" 
)

然后通过启用“自动导入”或单击 SBT 面板上的刷新按钮手动执行此操作，确保 IntelliJ 了解这些库。