hadoop - CDH HDFS节点退役永无止境

Question

我们有一个 12 台服务器的 hadoop 集群 (CDH)，最近，我们想停用其中的三台，但是这个进程已经在那里运行了 2 天多了。但它永远不会结束，特别是在过去的 24 小时内，我看到三个数据节点上只有 94G 数据可用，但在过去的 24 小时内大小似乎没有变化。即使通过复制不足的 block 数也已经为零。 hdfs 中的所有数据的复制因子都是 3。

以下是 hadoop fsck 命令的结果:

总大小:5789534135468 B(打开文件总大小:94222879072 B)目录总数:42458文件总数:5494378符号链接(symbolic link)总数:0(当前正在写入的文件:133) block 总数(已验证):5506578(平均 block 大小 1051385 B)(打开文件 block 总数(未验证):822)最少复制 block :5506578 (100.0 %)过度复制 block :0 (0.0 %)复制不足的 block :0 (0.0 %)错误复制 block :0 (0.0 %)默认复制因子:3平均 block 复制:2.999584损坏的 block :0缺少副本:0 (0.0 %)数据节点数:13机架数量:1FSCK 于 2016 年 10 月 17 日星期一 16:36:09 KST 结束，耗时 781094 毫秒

Answer 1

您可以尝试停止数据节点上的cloudera代理。

sudo service cloudera-scm-agent hard_stop_confirmed

代理停止后，你可以从hdfs实例页面删除那个datanode

希望这能行得通