python - pyspark 上使用 Spark 的代码

Question

我在 pyspark 中遇到问题。我已经使用 pyspark 在 Spark 上执行了这些行，如下所示，它给出了以下错误，

>>> text_file=sc.textFile("/Users/Aroon/spark/Scala/word")

Traceback (most recent call last): File "", line 1, in NameError: name 'sc' is not defined.

Answer 1

错误消息非常清楚地指出，sparkContext 不是在 sc 变量上创建的。如果您在 pyspark shell 上，这将自动创建。由于它没有，我预测您将通过 Spark-Submit 运行它。在这种情况下，请添加以下样板代码以使脚本运行。

from pyspark import SparkContext

sc = SparkContext(appName="Scalaword")

有关您所拥有的内容的更多信息会对您有更好的帮助。