Hadoop 损坏 block

Question

我正在使用 hadoop 0.20.append 和 hbase 0.90.0。我将少量数据上传到 Hbase，然后出于评估目的杀死了 HMaster 和 Namenode。在此之后，我向 Hbase 添加了更多数据，我可以在 hbase shell 中看到它们。

现在，当我启动 Namenode 时，我遇到了问题。日志显示名称节点处于安全模式，我无法添加或删除处于安全模式的内容。

也是刚跑的时候

./bin/hadoop fsck /

我明白了，

............Status: HEALTHY
 Total size:    12034 B (Total open files size: 4762 B)
 Total dirs:    22
 Total files:   12 (Files currently being written: 3)
 Total blocks (validated):      12 (avg. block size 1002 B) (Total open file blocks (not validated): 3)
 Minimally replicated blocks:   12 (100.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     3.0
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)
 Number of data-nodes:          3
 Number of racks:               1

路径“/”下的文件系统是健康的

但是当我运行 ./bin/hadoop fsck/-openforwrite

我明白了，

Total size:    16796 B
 Total dirs:    22
 Total files:   15
 Total blocks (validated):      15 (avg. block size 1119 B)
  ********************************
  CORRUPT FILES:        2
  ********************************
 Minimally replicated blocks:   13 (86.666664 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     2.6
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)
 Number of data-nodes:          3
 Number of racks:               1

路径“/”下的文件系统已损坏

连同损坏 block 的信息。

也尝试过使用

./bin/hadoop fsck / -move

但即使在那之后得到相同的损坏 block 列表。关于如何解决这个问题并恢复我的内容有什么想法吗？

Answer 1

我遇到了类似的问题。根据我的经验，它们无法恢复。创建文件的过程被中断，使它们无人看管。您可以通过以下方式查看是否可以阅读它们:

hdfs dfs -cat /path/to/file
hdfs dfs -get /path/to/file local_file

删除它们是安全的，因为失败的进程负责稍后再次尝试创建这些文件。而且它们应该被删除，因为这种不一致可能会导致 future 的问题。