eclipse - 使用IntelliJ或Eclipse进行Spark

Question

我正在尝试为spark 2.11设置IntelliJ，但是这非常艰巨，并且几天后我无法编译诸如“spark.read.format”之类的简单指令，该指令在主核心和sql spark库中找不到。

我已经看到了有关该主题的一些帖子，但都没有解决。有人对我可以开始的可行示例程序有一些经验吗？

使用Eclipse会更容易吗？

预先感谢您的回答，
EZ

Answer 1

使用scala 2.11和sbt 0.13在Intellij中构建项目:然后确保您的plugins.sbt包含以下内容:

logLevel := Level.Warn

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")

那么您的 build.sbt必须包含以下内容:

scalaVersion := "2.11.8"

val sparkVersion = "2.1.0"

libraryDependencies += "org.apache.spark" %% "spark-core" % sparkVersion %"provided"

libraryDependencies +=  "org.apache.spark" %% "spark-sql" % sparkVersion %"provided"

然后编写代码，在 Terminal中单击 Intellij并键入 sbt assembly:您可以将该jar运送到远程集群，否则从本地 Intelij运行，让我知道它的运行方式