python - 在同一 IDE 中使用 Spark 和 Python

Question

我在 Mac 上使用 Spyder(Anaconda) 进行 Python 开发。我还在我的机器上安装了 PySpark，我从终端使用它。是否可以在 Spyder 中同时使用它们，或者以某种方式设法将 spark 上下文导入到我的 python 2.7 中？

Answer 1

是的，可以只安装

pip install findspark

然后运行

findspark.init()

https://stackoverflow.com/a/34763240

然后尝试导入 pyspark，如果它工作正常，否则将 pyspark 添加到 pythonpath 并重试

# Add the PySpark classes to the Python path:
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH