gpt4 book ai didi

amazon-web-services - 有没有办法在 AWS Glue 中将多个 --conf 设置为作业参数?

转载 作者:行者123 更新时间:2023-12-01 21:52:20 25 4
gpt4 key购买 nike

我正在尝试在我的 Glue 作业中配置 spark。当我尝试在“编辑作业”中将它们一一输入时,“作业参数”作为键和值对(例如键:--conf值:spark.executor.memory = 10g)它有效但是当我尝试将它们放入完全(由空格或逗号分隔),它会导致错误。我也尝试使用 sc._conf.setAll 但 Glue 忽略了配置并坚持使用其默认值。有没有办法用 Spark 2.4 做到这一点?

最佳答案

是的,您可以传递多个参数,如下所示:

key : --conf

值: spark.yarn.executor.memoryOverhead=7g --conf spark.yarn.executor.memory=7g

关于amazon-web-services - 有没有办法在 AWS Glue 中将多个 --conf 设置为作业参数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59038074/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com