gpt4 book ai didi

java - mapred-site.xml 中指定的参数是否会覆盖 hadoop 代码中给出的参数?

转载 作者:行者123 更新时间:2023-12-01 14:07:13 25 4
gpt4 key购买 nike

如果我在mapred-site.xml中指定参数mapred.tasktracker.reduce.tasks.maximum的值为2并且程序代码指定reduce任务为job.setNumReduceTasks(1),那么mapred-site.xml中指定的参数会被忽略还是会遵循并同时执行2个reduce任务。

最佳答案

你把mapred.reduce.tasksmapred.tasktracker.reduce.tasks.maximum搞混了。实际上,job.setNumReduceTasks(1)会将mapred.reduce.tasks设置为1。而mapred.tasktracker.reduce.tasks.maximum是任务跟踪器将同时运行的 reduce task 的最大数量。这是两个完全不同的参数。

此外,mapred-site.xml中的mapred.tasktracker.reduce.tasks.maximum的值是唯一有效的值。您无法更改它,因为任务跟踪器在启动时使用它。 mapred.reduce.tasks 是一个作业的属性。不同的作业可以有不同的 mapred.reduce.tasks 值。

关于java - mapred-site.xml 中指定的参数是否会覆盖 hadoop 代码中给出的参数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18812005/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com