Hadoop 作业客户端 : Error Reading task output

Question

我正在尝试在我的集群上处理 40GB 的维基百科英文文章。问题是以下重复错误消息:

13/04/27 17:11:52 INFO mapred.JobClient: Task Id : attempt_201304271659_0003_m_000046_0, Status : FAILED
Too many fetch-failures
13/04/27 17:11:52 WARN mapred.JobClient: Error reading task outputhttp://ubuntu:50060/tasklog?plaintext=true&attemptid=attempt_201304271659_0003_m_000046_0&filter=stdout

当我在维基百科文章的一小部分而不是全部文章上运行相同的 MapReduce 程序时，它工作得很好并且我得到了所有想要的结果。基于此，我认为这可能是内存问题。我清除了所有用户日志(在类似的 post 中指定)并再次尝试。没有用。我将复制调低为 1，并添加了更多节点。还是没用。

聚类总结如下:

• 配置容量:205.76 GB
• 使用的 DFS:40.39 GB
• 未使用 DFS:44.66 GB
• DFS 剩余空间:120.7 GB
• DFS 使用率: 19.63%
• DFS 剩余百分比: 58.66%
• 事件节点: 12
• 死节点: 0
• 退役节点: 0
• 复制 block 数: 0

每个节点都在 Ubuntu 12.04 LTS 上运行

感谢任何帮助。

编辑

JobTracker 日志:http://txtup.co/gtBaY

TaskTracker 日志:http://txtup.co/wEZ5l

Answer 1

获取失败通常是由于 DNS 问题。检查每个数据节点以确保其配置的主机名和 IP 地址匹配 DNS 解析该主机名。

您可以通过访问集群中的每个节点并运行 hostname 和 ifconfig 并记下返回的主机名和 IP 地址来执行此操作。比方说，这会返回以下内容:

namenode.foo.com 10.1.1.100
datanode1.foo.com 10.1.1.1
datanode2.foo.com 10.1.1.2
datanode3.foo.com 10.1.1.3

然后，重新访问每个节点并nslookup 从其他节点返回的所有主机名。验证返回的 IP 地址是否与从 ifconfig 中找到的地址匹配。例如，在 datanode1.foo.com 上，您应该执行以下操作:

nslookup namenode.foo.com
nslookup datanode2.foo.com
nslookup datanode3.foo.com

你应该回来:

10.1.1.10010.1.1.210.1.1.3

当您在数据子集上运行作业时，您可能没有足够的拆分来在配置错误的数据节点上启动任务。