Pyspark/pyspark 内核在 jupyter notebook 中不起作用

Question

这里是安装的内核:

 $jupyter-kernelspec list


Available kernels:
  apache_toree_scala    /usr/local/share/jupyter/kernels/apache_toree_scala
  apache_toree_sql      /usr/local/share/jupyter/kernels/apache_toree_sql
  pyspark3kernel        /usr/local/share/jupyter/kernels/pyspark3kernel
  pysparkkernel         /usr/local/share/jupyter/kernels/pysparkkernel
  python3               /usr/local/share/jupyter/kernels/python3
  sparkkernel           /usr/local/share/jupyter/kernels/sparkkernel
  sparkrkernel          /usr/local/share/jupyter/kernels/sparkrkernel

创建了一个新笔记本但失败了

The code failed because of a fatal error:
    Error sending http request and maximum retry encountered..

jupyter 控制台没有[错误]信息

Answer 1

如果您使用 magicspark要连接您的 Jupiter notebook，您还应该启动 Livy，它是 magicspark 使用的 API 服务，用于与您的 Spark 集群通信。

1. 下载Livy来自 Apache Livy并解压
2. 检查是否设置了 SPARK_HOME 环境，如果没有设置为你的 Spark 安装目录
3. 通过 <livy_home>/bin/livy-server 运行 Livy 服务器在 shell/命令行中

现在回到你的笔记本，你应该可以在单元格中运行 spark 代码。