hadoop - 检查点在 HDFS 中是如何工作的？我想弄清楚 fs.checkpoint.period 和 fs.checkpoint.size

Question

当它说时，辅助名称节点检查点每小时(fs.checkpoint.period 以秒为单位)或如果编辑日志已达到 64 MB(fs.checkpoint.size 以字节为单位)则更早？究竟是什么意思？

据我了解，编辑日志存储在本地文件磁盘中。

Answer 1

HDFS 元数据可以认为由两部分组成:基本文件系统表(存储在名为 fsimage 的文件中)和列出对基本表所做更改的编辑日志(存储在文件中称为 edits)。检查点是协调 fsimage 与 edits 以生成新版本的 fsimage 的过程。这样做有两个好处:更新版本的 fsimage 和截断的编辑日志。

fs.checkpoint.period 控制触发协调的频率。 3600 表示 fsimage 每小时更新一次，编辑日志被截断。 Checkpiont 并不便宜，因此需要在过于频繁地运行它和让编辑日志变得过大之间取得平衡。假设集群中使用典型的文件系统，应该设置此参数以获得良好的平衡。

fs.checkpoint.size 是一个大小阈值，如果 edits 达到该阈值，将立即触发一个检查点，而不管自上次检查点以来耗时。这是在文件系统元数据写入流量异常大的情况下编辑日志变得过大的保险。