gpt4 book ai didi

hadoop - 如何更改每个作业的 io.sort.mb?

转载 作者:可可西里 更新时间:2023-11-01 14:50:39 25 4
gpt4 key购买 nike

我想知道是否可以更改每个作业的 io.sort.mb 值?我知道您可以在 mapred-site.xml 中为参数设置一个值,但我想以编程方式在不同的作业中使用不同的值。我尝试了 conf.setInt("io.sort.mb", someValue) 但它似乎不起作用。 JVM 设置有足够的内存(如 2.25GB)并且没有其他作业在运行。

最佳答案

可以,提交前在Configuration(早期版本为JobConf)中设置即可。它确实有效;我在 Mahout 中使用它。确保在设置值之后和提交之前将 conf 设置到您的 Job 上。确保您也设置了正确的 conf!也许您可以说说您是如何知道它不起作用的。

关于hadoop - 如何更改每个作业的 io.sort.mb?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11075615/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com