python-2.7 - 在 spark 环境中运行 python 程序时出错

Question

我正在使用 spark 1.3.0。

我在 spark python shell 中运行 python 程序时遇到问题。

这是我提交作业的方式:

/bin/spark-提交程序名.py

我发现的错误是，

NameError: 名称 'sc' 未定义

在那条线上。

有什么想法吗？提前致谢

Answer 1

 ## Imports

from pyspark import SparkConf, SparkContext

## CONSTANTS

APP_NAME = "My Spark Application"

##OTHER FUNCTIONS/CLASSES

## Main functionality

def main(sc):

    rdd = sc.parallelize(range(1000), 10)

    print rdd.mean()

if __name__ == "__main__":
     # Configure OPTIONS
     conf = SparkConf().setAppName(APP_NAME)
     conf = conf.setMaster("local[*]")
     #in cluster this will be like
     #"spark://ec2-0-17-03-078.compute-#1.amazonaws.com:7077"
     sc   = SparkContext(conf=conf)
     # Execute Main functionality
main(sc)