hadoop - fs.checkpoint.dir 和 dfs.name.dir 有什么区别？

Question

主要是dfs.name.dir属性是用来存储namenode的fsimage到特定位置备份的，fs.checkpoint.dir属性是fsimage合并的位置。这让我有点困惑。任何人都可以详细解释我。

Answer 1

dfs.name.dir 是namenode在磁盘中存放fsimage和editlogs的地方。这是一个强制性的位置。没有这个位置，hadoop 集群将无法启动。这将位于名称节点主机中。

fs.checkpoint.dir 是本地文件系统上的目录，DFS 辅助名称节点应在其中存储要合并的临时图像。如果这是一个以逗号分隔的目录列表，则图像将复制到所有目录中以实现冗余。这不是强制性位置。如果没有这个目录，hadoop 集群也会启动。这将位于辅助名称节点主机中。

fsimage 和编辑日志通过辅助名称节点定期合并。如果 secondary 不存在，fsimage 和 editlogs 的合并只会在 namenode 重启时发生。

secondary namenode的解释可以在这个blog post中找到