gpt4 book ai didi

apache-spark - 为 Spark worker 设置 python 路径

转载 作者:行者123 更新时间:2023-12-04 05:06:10 25 4
gpt4 key购买 nike

为 Python 工作节点设置 sys 路径的“正确”方法是什么?
工作节点从主节点“继承”系统路径是个好主意吗?
通过 .bashrc 在工作节点中设置路径是个好主意吗? ?或者是否有一些标准的 Spark 设置方式?

最佳答案

设置环境变量的标准方式,包括 PYSPARK_PYTHON , 是使用 conf/spark-env.sh文件。 Spark 附带一个模板文件 ( conf/spark-env.sh.template ),其中解释了最常见的选项。

它是一个普通的 bash 脚本,因此您可以像使用 .bashrc 一样使用它。

您可以在 Spark Configuration Guide 中找到更多详细信息.

关于apache-spark - 为 Spark worker 设置 python 路径,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32959723/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com