gpt4 book ai didi

apache-spark - 如何找到特定 Spark 配置属性的值?

转载 作者:行者123 更新时间:2023-12-04 16:29:03 24 4
gpt4 key购买 nike

如何在我的 spark 代码中找到 spark 配置的值?

例如,我想找到 spark.sql.shuffle.partitions 的值并在我的代码中引用它。

以下代码将返回所有值:-
spark.sparkContext.getConf().getAll()
如何检索单个配置设置?

最佳答案

像这样。

spark.conf.get("spark.sql.shuffle.partitions")
'200' # returns default value here

关于apache-spark - 如何找到特定 Spark 配置属性的值?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55935209/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com