apache-spark - SPARK_SUBMIT_OPTIONS 中的 CPS 是什么？

Question

在 AWS EMR 中 /etc/zeppelin/conf/zeppelin-env.sh , 它有这个

export SPARK_SUBMIT_OPTIONS="$SPARK_SUBMIT_OPTIONS \
--conf 'spark.executorEnv.PYTHONPATH=/usr/lib/spark/python/lib/py4j-src.zip:/usr/lib/spark/python/:<CPS>{{PWD}}/pyspark.zip<CPS>{{PWD}}/py4j-src.zip' \
--conf spark.yarn.isPython=true"

这是什么<CPS>在 spark.executorEnv.PYTHONPATH ？

Answer 1

CPS =“类路径分隔符”(例如，Linux 上的“:”和 Windows 上的“;”)

参见 https://issues.apache.org/jira/browse/YARN-6554供引用。

您看到的这个设置混合了 和“:”，这有点奇怪。真的，它可能应该使用 代替所有的 ':' 以独立于平台。但是，由于 EMR 仅支持在 AmazonLinux 上运行，因此不需要平台独立。