matplotlib - 如何让 iPython inbuild 魔术命令在 Jupyter notebook Pyspark 内核中工作？

Question

我正在使用 PySpark通过 Apache Toree 安装的内核在 Jupyter Notebook使用 Anaconda v4.0.0 (Python 2.7.11)。从 Hive 得到一张 table 后, 使用 matplotlib/panda按照以下教程在 Jupyter 笔记本中绘制一些图表:

%matplotlib inline
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# Set some Pandas options
pd.set_option('display.notebook_repr_html', False)
pd.set_option('display.max_columns', 20)
pd.set_option('display.max_rows', 25)

normals = pd.Series(np.random.normal(size=10))
normals.plot()

当我尝试使用 %matplotlib inline 时，我被困在第一个链接上，它显示

Name: Error parsing magics!
Message: Magics [matplotlib] do not exist!
StackTrace:

看 Toree Magic和 MagicManager ，我意识到 %matplotlib正在调用 MagicManager而不是 iPython内置魔术命令。
Apache Toree - PySpark 有可能吗？改为使用 iPython 内置魔术命令？

Answer 1

我为 PySpark 和魔法命令工作做了一个变通方法，而不是安装 Toree PySpark kernel我正在使用 PySpark directly on Jupyter Notebook .

下载安装Anaconda2 4.0.0

下载 Spark 1.6.0为 Hadoop 2.6 预建

追加~/.bashrc使用以下命令并输入 source ~/.bashrc更新环境变量

# 添加到运行 Spark
导出 PATH="{your_spark_dir}spark/sbin:$PATH"
导出 PATH="{your_spark_dir}spark/bin:$PATH"

# 添加以在集群模式下启动 Spark 应用程序
导出 JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre

# 接下来的 2 行是可选的，只需要 Spark Cluster
导出 HADOOP_CONF_DIR={your_hadoop_conf}/hadoop-conf
导出 YARN_CONF_DIR={your_hadoop_conf}/hadoop-conf

# 由 Anaconda2 4.0.0 安装程序添加
导出 PATH="{your_anaconda_dir}/Anaconda/bin:$PATH"

# 添加以在 jupyter notebook 中运行 pyspark
导出 PYSPARK_DRIVER_PYTHON={your_anaconda_dir}/Anaconda/bin/jupyter
导出 PYSPARK_DRIVER_PYTHON_OPTS="notebook --NotebookApp.open_browser=False --NotebookApp.ip='0.0.0.0' --NotebookApp.port=8888"
导出 PYSPARK_PYTHON={your_anaconda_dir}/Anaconda/bin/python

运行 Jupyter Notebook

pyspark --master=yarn --deploy-mode=client启动笔记本运行PySpark in cluster mode

打开浏览器并输入IP_ADDRESS_OF_COMPUTER:8888

免责声明
这只是一种解决方法，而不是解决问题的实际方法，如果您找到了 Toree PySpark 的方法，请告诉我。 ipython inbuild 魔术命令工作。魔术命令如 %matplotlib notebook