java - 如何在 IntelliJ IDE 中将 Spark 与 Scala 项目集成？

Question

我正在使用 IntelliJ IDE 来玩 Scala 和 Spark。在此 IDE 中，我使用 Scala 对象创建了一个 Scala 项目(参见图片)。

我使用了此 web site 中的示例回归代码.

我还以非 Maven 用户身份从 GitHub 下载了 Spark Framework(如 here 所述)。

我的问题是如何将此 Spark 框架与我的 Scala 项目链接？我还需要集成一些额外的库才能与 Spark MLLib 一起使用吗？

Answer 1

我建议创建 simple sbt project在 build.sbt

中具有以下依赖项

libraryDependencies ++= Seq(   
  "org.apache.spark" %% "spark-core" % "1.5.1",
  "org.apache.spark" %% "spark-sql" % "1.5.1" )

然后通过菜单打开它，开始从 sbt 导入项目。

当 IDEA 完成导入\下载\索引库时，您只需 ctrl-shift-D 即可，瞧 - 您拥有了具有语法完美突出显示多行编辑和完成功能的 Spark 控制台。

如果目录 /src/main/scala 不存在，则可以创建该目录。或者你可以让 IDEA 在选项中为你创建它:

接下来你应该在scala目录中创建新对象，选择“new scala class - object”:

接下来在对象的 main 方法中编写一些代码，并通过 ctrl-shift-F10 或上下文命令运行它

并享受你的结果