python - 为 Jupyter (Anaconda) 安装 Scala 内核(或 Spark/Toree)

Question

我正在运行 RHEL 6.7，并设置了 Anaconda。 ( python 4.10)。 Jupyter 正在运行 OOTB，默认情况下它具有 Python 内核。一切都很好，所以我可以在 Jupyter 中选择“python notebook”。

我现在也希望将 Scala 与 Jupyter 结合起来。 (看起来像 Spark 内核 - 现在 Toree 可以工作了？)

我所看到的关于它的每个问题/答案都没有提到我遇到的问题。

我正在尝试安装 Toree，并且安装了

sudo pip install toree 

它奏效了。不过接下来太过分了

jupyter toree install

我得到的错误是:

jupyter toree install
Traceback (most recent call last):
  File "/usr/app/anaconda/bin/jupyter-toree", line 7, in <module>
    from toree.toreeapp import main
ImportError: No module named toree.toreeapp

我错过了一步吗？我做错了什么吗？如果我需要提供更多信息，我也会很高兴。谢谢!

编辑:在 Jupyter 中获取 Scala 笔记本的标准/最简单/可靠的方法是什么？ (tl；博士)

Answer 1

如果您尝试使用 2.11 获取 spark 2.0，您可能会收到奇怪的消息。你需要更新到最新的toree 0.2.0对于 Ubuntu 16.04 64 位。我有包和 tgz 文件 https://anaconda.org/hyoon/toree

这是针对 python 2.7 的，您将需要 conda。如果你不知道怎么做，那就下载 tgz 吧

tar zxvf toree-0.2.0.dev1.tar.gz
pip install -e toree-0.2.0.dev1

我更喜欢:

jupyter toree install --interpreters=Scala --spark_home=/opt/spark --user --kernel_name=apache_toree --interpreters=PySpark,SparkR,Scala,SQL

这将在 ~/.local/share/jupyter/kernels 中创建内核(--user 是关键)

快乐的 Spark !