python-3.x - Spark yarn-客户端模式Python版

Question

我正在尝试在 yarn-client 模式下使用 PySpark 运行 python 模块。我集群上的默认 python 是 2.6.6，我想使用安装在我的路径 $/apps/anaconda/4.3.1/3/bin/python3.6 下的 python 3簇。当我通过下面的 spark2-submit 运行 Spark 模块时，它无法说明正在使用错误版本的 Python。当我使用 yarn-cluster 在集群模型中运行相同的代码时，它成功了。我的问题:我该如何解决这个问题？我怎样才能让它在 python 3.6 的 yarn-client 模式下工作？

spark2-submit --master yarn --deploy-mode client --conf 'spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON=/apps/anaconda/4.3.1/3/bin/python3.6' --conf 'spark.yarn.appMasterEnv.PYSPARK_PYTHON=/apps/anaconda/4.3.1/3/bin/python3.6'  --queue=queue-name --py-files custom-python-code.zip file.py

Answer 1

代替

spark.yarn.appMasterEnv.PYSPARK_PYTHON=/apps/anaconda/4.3.1/3/bin/python3.6

使用

spark.executorEnv.PYSPARK_PYTHON=/apps/anaconda/4.3.1/3/bin/python3.6

前者只适用于集群模式。