hadoop - 随机播放错误:超过MAX_FAILED_UNIQUE_FETCHES；救助

Question

我正在尝试在两个节点群集上运行mapreduce作业。我收到以下错误
随机播放错误:超过MAX_FAILED_UNIQUE_FETCHES；纾困。

我通读了一些帖子，说这是由于/ etc / hosts中的问题

我在master中的/ etc / hosts看起来像这样。(另外，master本身是一个slave):
127.0.0.1本地主机
127.0.1.1 xyz
10.140.169.41主
10.140.169.38奴隶

从站中的/ etc / hosts看起来像这样

127.0.0.1本地主机
127.0.1.1 abc
10.140.169.41主
10.140.169.38奴隶

我关闭了防火墙

任何帮助将不胜感激

Answer 1

混洗是中间数据从映射器传输到缩减器的阶段。您没有提到为代码运行设置的Map Reduce属性，但是我建议您尝试设置以下属性:

<property>
    <name>mapreduce.reduce.shuffle.input.buffer.percent</name>
    <value>0.20</value>
</property>
<property>
    <name>mapreduce.reduce.shuffle.parallelcopies</name>
    <value>4</value>
</property>

如果需要有关如何计算缓冲区输入百分比的说明，请查看: https://issues.apache.org/jira/browse/MAPREDUCE-6447/

谢谢。