gpt4 book ai didi

apache-spark - 更改 tmp 目录在 Spark 中不起作用

转载 作者:行者123 更新时间:2023-12-04 15:46:55 26 4
gpt4 key购买 nike

我想更改 spark 使用的 tmp 目录,所以我的 spark-submit 中有类似的东西。

 spark-submit <other parameters> --conf "spark.local.dir=<somedirectory>" <other parameters>

但我注意到它没有效果,因为 Spark 仍然使用默认的 tmp 目录。我在这里做错了什么?

顺便说一句,我使用的是Spark的独立集群。

最佳答案

来自 https://spark.apache.org/docs/2.1.0/configuration.html

在 Spark 1.0 及更高版本中 spark.local.‌ dirSPARK_LOCAL_DIRS (Standalone, Mesos)LOCAL_DIRS (YARN) 集群管理器设置的环境变量。”

关于apache-spark - 更改 tmp 目录在 Spark 中不起作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55354987/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com