apache-spark - 如何在 spark 2.1.0 中提交 python 文件？

Question

我目前正在运行 spark 2.1.0。我大部分时间都在 PYSPARK shell 中工作，但我需要 spark-submit 一个 python 文件(类似于 java 中的 spark-submit jar)。你如何在python中做到这一点？

Answer 1

python 文件.py

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("appName").getOrCreate()
sc = spark.sparkContext
rdd = sc.parallelize([1,2,3,4,5,6,7])
print(rdd.count())

使用您想要的配置运行上述程序:例如:

 YOUR_SPARK_HOME/bin/spark-submit --master yourSparkMaster --num-executors 20 \
        --executor-memory 1G --executor-cores 2 --driver-memory 1G \
        pythonfile.py

这些选项不是强制性的。你甚至可以像

YOUR_SPARK_HOME/bin/spark-submit --master sparkMaster/local pythonfile.py