IntelliJ 中的 scala spark notebook

Question

我用 andypetrella/spark-notebook ，这很棒:

docker run -p 9001:9001 andypetrella/spark-notebook:0.7.0-scala-2.11.8-spark-2.1.0-hadoop-2.7.3

但是，我想从 InteliJ 内部使用这样的笔记本来使用完成和调试。如何实现这一目标？

我看到 IntelliJ 你可以拥有 New -> jupyter，但我认为它只是 python。或者它适用于 Scala 和 Spark？

我还看到 IntelliJ 有一个 Scala 工作表。与其 experimental REPL , IntelliJ 递增地评估添加的新行，但如果您更改文件中间的一行，它会从头开始评估所有文件。因此，与 jupyter 笔记本相比，不是很方便。

我看到有关在 IntelliJ 中运行 scala spark notebook 的其他问题，例如这个，但他们没有回答这里的问题。
How to run Spark scala application inside Intellij

问题是如何获得相当于 andypetrella/spark-notebook从 IntelliJ 内部(因此，只评估更改的行)？

Answer 1

至于Intellij中的spark notebook，恐怕你不走运了。
如果你想在 Intellij 中使用任何带有 Spark 的笔记本，那么你可以测试 Apache 齐柏林飞艇 笔记本。该插件有效，但已过时。

docker run --rm -p 8080:8080 dylanmei/zeppelin

在 Intellij Plugins->Browse repositories-> 搜索 IntelliJ Zeppelin

创建一个空的 scala 类，并在其中输入“NotebookName”

按 ctrl+shift+alt+enter(shift+option+cmd+enter)(快捷方式见 intellij 菜单中的工具-> Zeppelin)- 这应该会给你一个窗口，询问 zepellin 的地址

输入段落的代码

shift+alt+enter (shift+option+enter) 添加段落。这应该给你段落

的结果

导航至 http://localhost:8080 (或您提供的任何端口)并查找“NotebookName”(如果您不给它命名，它将生成为“IntelliJ Notebook”)

插件github上有一个演示: https://github.com/chilang/intellij-zeppelin

如果您尝试将此插件与 spark-notebook 一起使用，则会产生严重错误。