gpt4 book ai didi

configuration - Hadoop 推荐素数的 map/reduce 任务?

转载 作者:可可西里 更新时间:2023-11-01 15:18:59 27 4
gpt4 key购买 nike

我在模板配置文件中看到了这些:

<property>
<name>mapred.map.tasks</name>
<value>2</value>
<description>The default number of map tasks per job. Typically set
to a prime several times greater than number of available hosts.
Ignored when mapred.job.tracker is "local".
</description>
</property>

...

<property>
<name>mapred.reduce.tasks</name>
<value>1</value>
<description>The default number of reduce tasks per job. Typically set
to a prime close to the number of available hosts. Ignored when
mapred.job.tracker is "local".
</description>
</property>

无论是在网上还是在 Hadoop O'Reilly 书中,我都找不到任何其他引用资料来说明为什么这些应该是主要。有人有什么想法吗?

谢谢。

最佳答案

参见 HADOOP-5519 ;这不再在配置文件中,因为没有(或很少)原因。

我至少两个版本都没有看到它,JIRA 说它在几年前就已经解决了。

关于configuration - Hadoop 推荐素数的 map/reduce 任务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9281935/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com