hadoop - 为什么我每隔一天收到 "Too many fetch-failures"

Question

每当我们运行两个处理大约 400 GB 数据的大型 Pig 作业时，我都会从一个或另一个任务跟踪器收到此错误。我们发现在杀死作业并让集群静默一段时间后，一切又恢复正常了。请提出真正的问题是什么？

Answer 1

解决办法，修改datanode节点的/etc/hosts文件。主办方简要格式:每行分为三部分:第一部分网络IP地址，第二部分主机名或域名，第三部分主机别名详细步骤如下:1、首先查看主机名:

cat/proc/sys/内核/主机名

会看到一个HOSTNAME属性，把IP后面的值改一下就OK了，然后退出。2、使用命令:

主机名*。 。 。 *

星号替换为相应的IP。3、修改hosts配置类似如下:

127.0.0.1 localhost.localdomain localhost::1 localhost6.localdomain6 localhost610.200.187.77 10.200.187.77 hadoop 数据节点

如果IP地址配置成功，或者显示主机名有问题，继续修改hosts文件，