apache-spark - 将 Spark 与 iPython Notebook 连接起来

Question

我在网上学习了一些教程，但它们不适用于 Spark 1.5.1在 OS X El Capitan (10.11) 上

基本上我已经运行了这个命令下载 apache-spark

brew update
brew install scala
brew install apache-spark

更新了 .bash_profile

# For a ipython notebook and pyspark integration
if which pyspark > /dev/null; then
  export SPARK_HOME="/usr/local/Cellar/apache-spark/1.5.1/libexec/"
  export PYSPARK_SUBMIT_ARGS="--master local[2]"
fi

跑

ipython profile create pyspark

创建了启动文件 ~/.ipython/profile_pyspark/startup/00-pyspark-setup.py这样配置

# Configure the necessary Spark environment
import os
import sys

# Spark home
spark_home = os.environ.get("SPARK_HOME")

# If Spark V1.4.x is detected, then add ' pyspark-shell' to
# the end of the 'PYSPARK_SUBMIT_ARGS' environment variable
spark_release_file = spark_home + "/RELEASE"
if os.path.exists(spark_release_file) and "Spark 1.4" in open(spark_release_file).read():
    pyspark_submit_args = os.environ.get("PYSPARK_SUBMIT_ARGS", "")
    if not "pyspark-shell" in pyspark_submit_args: pyspark_submit_args += " pyspark-shell"
    os.environ["PYSPARK_SUBMIT_ARGS"] = pyspark_submit_args

# Add the spark python sub-directory to the path
sys.path.insert(0, spark_home + "/python")

# Add the py4j to the path.
# You may need to change the version number to match your install
sys.path.insert(0, os.path.join(spark_home, "python/lib/py4j-0.8.2.1-src.zip"))

# Initialize PySpark to predefine the SparkContext variable 'sc'
execfile(os.path.join(spark_home, "python/pyspark/shell.py"))

然后我运行 ipython notebook --profile=pyspark并且笔记本工作正常，但 sc ( Spark 上下文)不被识别。

任何人都设法通过 Spark 1.5.1 做到了这一点?

编辑:您可以按照本指南进行操作

https://gist.github.com/tommycarpi/f5a67c66a8f2170e263c

Answer 1

我已经安装了 Jupyter，确实比你想象的要简单:

安装 anaconda对于 OSX。

安装 jupyter在终端中输入下一行 Click me for more info .

ilovejobs@mymac:~$ conda install jupyter

更新 jupyter 以防万一。

ilovejobs@mymac:~$ conda update jupyter

下载Apache Spark并编译它，或下载并解压 Apache Spark 1.5.1 + Hadoop 2.6 .

ilovejobs@mymac:~$ cd Downloads 
ilovejobs@mymac:~/Downloads$ wget http://www.apache.org/dyn/closer.lua/spark/spark-1.5.1/spark-1.5.1-bin-hadoop2.6.tgz

创建 Apps您家中的文件夹(即):

ilovejobs@mymac:~/Downloads$ mkdir ~/Apps

移动未压缩的文件夹 spark-1.5.1到 ~/Apps目录。

ilovejobs@mymac:~/Downloads$ mv spark-1.5.1/ ~/Apps

移至 ~/Apps目录并验证 spark 是否存在。

ilovejobs@mymac:~/Downloads$ cd ~/Apps
ilovejobs@mymac:~/Apps$ ls -l
drwxr-xr-x ?? ilovejobs ilovejobs 4096 ?? ?? ??:?? spark-1.5.1

这是第一个棘手的部分。将 spark 二进制文件添加到您的 $PATH :

ilovejobs@mymac:~/Apps$ cd
ilovejobs@mymac:~$ echo "export $HOME/apps/spark/bin:$PATH" >> .profile

这是第二个棘手的部分。还要添加此环境变量:

ilovejobs@mymac:~$ echo "export PYSPARK_DRIVER_PYTHON=ipython" >> .profile
ilovejobs@mymac:~$ echo "export PYSPARK_DRIVER_PYTHON_OPTS='notebook' pyspark" >> .profile

获取配置文件以使这些变量可用于此 终端

ilovejobs@mymac:~$ source .profile

创建一个 ~/notebooks目录。

ilovejobs@mymac:~$ mkdir notebooks

移至 ~/notebooks并运行pyspark:

ilovejobs@mymac:~$ cd notebooks
ilovejobs@mymac:~/notebooks$ pyspark

请注意，您可以将这些变量添加到 .bashrc位于您的家中。
现在很高兴，您应该能够使用 pyspark 内核运行 jupyter(它将显示为 python 2，但它将使用 spark)