gpt4 book ai didi

hadoop - 映射器顺序执行而不是并行执行

转载 作者:行者123 更新时间:2023-12-02 21:37:53 28 4
gpt4 key购买 nike

您好,我对映射器的执行时间有疑问:
好吧,最后我成功做到了:
读取2个文件输入:每个映射器一个文件,我添加此属性mapred.tasktracker.map.tasks.maximum =1mapred-site.xml:
这项工作对我有好处,因此结局结果是:
每个映射器一个文件,每个节点一个映射器。
问题:当我看向master:50030时,我发现映射器(2个映射器在主机中执行,另一个在slave中执行)为什么不并行执行?为什么我要解决此问题?

最佳答案

根据documentationmapred.tasktracker.map.tasks.maximum设置了任务跟踪器将同时运行的最大映射任务数。

您应该将此参数设置为大于1的值。

关于hadoop - 映射器顺序执行而不是并行执行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30830932/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com