python - 如何使用 PySpark 加载 IPython shell

Question

我想加载 IPython shell(不是 IPython notebook)，我可以在其中通过命令行使用 PySpark。那可能吗？我已经安装了 Spark-1.4.1。

Answer 1

如果您使用 Spark < 1.2，您可以简单地使用环境变量 IPYTHON=1 执行 bin/pyspark。

IPYTHON=1 /path/to/bin/pyspark

或

export IPYTHON=1
/path/to/bin/pyspark

虽然上述方法仍然适用于 Spark 1.2 及更高版本，但为这些版本设置 Python 环境的推荐方法是 PYSPARK_DRIVER_PYTHON

PYSPARK_DRIVER_PYTHON=ipython /path/to/bin/pyspark

或

export PYSPARK_DRIVER_PYTHON=ipython
/path/to/bin/pyspark

您可以将 ipython 替换为您选择的解释器的路径。