python - 我可以在提交 spark 作业时向 python 代码添加参数吗？

Question

我正在尝试使用 spark-submit 在 spark 集群中执行我的 python 代码。

通常我们使用如下 python 代码运行 spark-submit。

# Run a Python application on a cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  my_python_code.py \
  1000

但我想通过传递几个参数来运行 my_python_code.py 有没有聪明的方法来传递参数？

Answer 1

尽管 sys.argv 是一个很好的解决方案，但我仍然更喜欢这种在我的 PySpark 作业中处理行命令 args 的更合适的方法:

import argparse

parser = argparse.ArgumentParser()
parser.add_argument("--ngrams", help="some useful description.")
args = parser.parse_args()
if args.ngrams:
    ngrams = args.ngrams

这样，您可以按如下方式启动您的工作:

spark-submit job.py --ngrams 3

关于argparse 模块的更多信息可以在Argparse Tutorial 中找到。