gpt4 book ai didi

linux - 如何从命令行检查 Spark 配置?

转载 作者:可可西里 更新时间:2023-11-01 15:02:07 24 4
gpt4 key购买 nike

基本上,我想通过命令行检查Spark配置的一个属性,例如“spark.local.dir”,即不编写程序。有没有办法做到这一点?

最佳答案

没有从命令行查看 spark 配置属性的选项。

相反,您可以在 spark-default.conf 文件中检查它。另一种选择是从 webUI 查看。

位于 http://driverIP:4040 的应用程序 Web UI在“环境”选项卡中列出 Spark 属性。只有通过 spark-defaults.conf、SparkConf 或命令行明确指定的值才会出现。对于所有其他配置属性,您可以假定使用默认值。

更多详情可以引用Spark Configuration

关于linux - 如何从命令行检查 Spark 配置?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37566516/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com