hadoop - hdfs fsck 显示错误的复制因子

Question

我刚开始使用 Hadoop 并且一直在尝试使用它。我用谷歌搜索了一下，发现我必须更改 hdfs-site.xml 中的属性更改默认复制因子...这就是我所做的，老实说奇迹般有效。当我添加新文件时，它们将自动与新的复制因子。但是当我做类似的事情时:

hdfs fsck /

然后输出显示默认复制为 1。我可能只是对它迂腐。但我宁愿把它修好……或者我应该说。我一直依赖于那个输出，因此我花了很长时间才意识到没有错......或者也许有有什么问题吗？有人可以帮助解释该 fsck 输出。

..Status: HEALTHY
 Total size:    1375000000 B
 Total dirs:    1
 Total files:   2
 Total symlinks:        0
 Total blocks (validated):  12 (avg. block size 114583333 B)
 Minimally replicated blocks:   12 (100.0 %)
 Over-replicated blocks:    0 (0.0 %)
 Under-replicated blocks:   0 (0.0 %)
 Mis-replicated blocks:     0 (0.0 %)
 Default replication factor:    1
 Average block replication: 2.0
 Corrupt blocks:        0
 Missing replicas:      0 (0.0 %)
 Number of data-nodes:      4
 Number of racks:       1

Answer 1

有时，Hadoop 会使用客户端计算机上的 .xml 中的信息响应查询，有时还会使用各种服务器计算机上的信息。确保 hdfs-site.xml 文件在数据节点、客户端节点(运行 hdfs 的地方)和名称节点上具有相同的值。我为配置文件维护一个中央存储库(针对每个节点的细节进行定制)并在它们发生变化时全局推送它们。