gpt4 book ai didi

apache-spark - 如果我通过 pip install pyspark 安装了 pyspark,在哪里修改 spark-defaults.conf

转载 作者:行者123 更新时间:2023-12-05 02:36:27 27 4
gpt4 key购买 nike

我通过 pip install pyspark 安装了 pyspark 3.2.0。我在名为 pyspark 的 conda 环境中安装了 pyspark。我找不到 spark-defaults.conf。我正在 ~/miniconda3/envs/pyspark/lib/python3.9/site-packages/pyspark 中搜索它,因为这是我对 SPARK_HOME 应该是什么的理解。

  1. 我在哪里可以找到 spark-defaults.conf?我要修改
  2. 我将 SPARK_HOME 设置为 pyspark ~/miniconda3/envs/pyspark/lib/python3.9/site-packages/pyspark 的安装位置是否正确?

最佳答案

2SPARK_HOME 环境变量配置正确。

1。在pip安装环境中,需要手动创建$SPARK_HOME/conf目录,然后将配置文件模板复制到该目录下,修改各个配置文件。

关于apache-spark - 如果我通过 pip install pyspark 安装了 pyspark,在哪里修改 spark-defaults.conf,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/70253784/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com