python - 无法同时运行多个 SparkContext

Question

我正处于学习spark的初级阶段。我刚刚开始使用 pyspark 使用 python 进行编码。在浏览基本代码时，我在 Jupyter 笔记本上遇到了此错误。好吧，我已经在我的电脑上安装了 Spark，它处于工作状态。我的问题是，当我在 Ubuntu 终端上输入“pyspark”时，它会直接进入 jupyter 的 webUI。它不进入交互式 shell。不知道为什么？

第二，当我运行以下代码时，出现错误..

from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName('appName').setMaster('local')
sc = SparkContext(conf=conf)
data = range(10)
dist_data = sc.parallelize(data)
print(dist_data.reduce(lambda a, b: a+b))

上述代码的错误是...

Error Message

ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by at /home/trojan/.local/lib/python3.6/site-packages/IPython/utils/py3compat.py:186

这是什么意思？请告诉我可能是什么错误!抱歉，错误图像我无法清楚地粘贴它，所以我粘贴了错误的屏幕截图希望它能工作!

Answer 1

您只能为一个 Python 内核(笔记本)运行一个 Spark 上下文。如果您需要另一个 Spark 上下文，您可以打开另一个笔记本，否则，没有理由在同一个笔记本上使用多个 Spark 上下文，您可以多次使用它，具体取决于您的问题。