Hadoop:FSCK 结果显示缺少副本

Question

谁能告诉我如何修复丢失的副本？

============================================= =============================

总大小:3447348383 B

目录总数:120

文件总数:98

区 block 总数(已验证):133(平均区 block 大小 25919912 B)

最少复制 block :133 (100.0 %)

过度复制 block :0 (0.0 %)

复制不足的 block :21 (15.789474 %)

错误复制 block :0 (0.0 %)

默认复制因子:3

平均 block 复制:2.3834586

损坏 block :0

缺失副本:147 (46.37224 %)

数据节点数:3

机架数量:1

============================================= =============================

根据 Indefinite 指南，

损坏或丢失的 block 是最令人担忧的原因，因为这意味着数据已被丢失。默认情况下，fsck 会留下损坏或丢失 block 的文件，但您可以告诉它对它们执行以下操作之一:

• 使用-move 选项将受影响的文件移动到HDFS 中的/lost+found 目录。文件被分成连续的 block 链，以帮助您进行任何挽救工作可以尝试。

• 使用-delete 选项删除受影响的文件。文件无法恢复后被删除。

这里我的问题是如何找出受影响的文件？我已经使用 Hive 毫无问题地获得所需的输出。它会影响查询处理的性能/速度吗？

问候，

拉吉

Answer 1

随着时间的推移，丢失的副本应该会 self 修复。但是，如果您想将它们移至失物招领处，您可以使用:

hadoop fsck / -move

或者删除它们:

hadoop fsck / -delete

如果您只想识别具有复制不足 block 的文件，请使用:

hadoop fsck / -files -blocks -locations

这将为您提供很多详细信息，包括预期/实际 block 复制计数的列表。