gpt4 book ai didi

apache-spark - 如何将配置从 spark-submit 传递到 yarn cluster?

转载 作者:可可西里 更新时间:2023-11-01 16:28:18 25 4
gpt4 key购买 nike

我想知道有什么方法可以让 spark-submit 临时更改 yarn 作业的配置?

问题是因为我们的Spark over yarn cluster的history server只允许admin访问,不方便用户检索自己job的log。我了解到 mapreduce-default.xml 中的“mapreduce.job.acl-view-job”可以更改特定作业的 ACL。因为我正在使用 spark-submit 来启 Action 业,并且“--conf”是为 spark 本身保留的,但是我如何从命令行和应用程序一起设置 yarn 的配置?

最佳答案

您可以修改 Spark 的 Hadoop 配置(通过 SparkContaxt.hadoopConfiguration 获得),方法是添加一个带有 spark.hadoop. 前缀的 --conf .

在你的例子中是

spark-submit --conf spark.hadoop.mapreduce.job.acl-view-job=YOUR_ACL_STATEMENT ...

关于apache-spark - 如何将配置从 spark-submit 传递到 yarn cluster?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50417926/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com