Hadoop 数据节点经常挂掉

Question

我们的 Hadoop 集群是一个由 5 个数据节点和 2 个名称节点组成的集群。流量实际上非常高，一些节点经常宕机。但是过了一会儿他们又回来了。有时需要很长时间，半个多小时才能活着回来。

很少有 DN 的线程比其他的多。这是配置问题吗？数据不是写入密集型的。 MR 作业每 20 分钟运行一次。

运行健康监控器两天后，每隔半小时采样一次，我们了解到节点在每 6 小时运行一次的磁盘验证期间死亡。所以现在节点可以预见地死亡。但为什么他们在磁盘验证期间死亡？无论如何，有没有办法防止节点在磁盘验证期间死亡？？

Answer 1

Clouedera's capacity planning给出了对此的见解。如果您在重负载下看到“Bad connect ack with firstBadLink”、“Bad connect ack”、“No route to host”或“Could not obtain block”IO 异常，这些很可能是由于网络不良造成的。