hadoop - 名称节点与二级名称节点

Question

Hadoop 具有一致性和分区容错性，即它属于 CAP 定理的 CP 类别。

Hadoop 不可用，因为所有节点都依赖于名称节点。如果名称节点失败，集群将关闭。

但考虑到 HDFS 集群有一个辅助名称节点，为什么我们不能称 hadoop 为可用。如果名称节点已关闭，则可以使用辅助名称节点进行写入。

导致 hadoop 不可用的名称节点和辅助名称节点之间的主要区别是什么。

提前致谢。

Answer 1

namenode 将 HDFS 文件系统信息存储在名为 fsimage 的文件中。对文件系统的更新(添加/删除 block )不会更新 fsimage 文件，而是记录到文件中，因此 I/O 是快速附加流，而不是随机文件写入。重启时，namenode 读取 fsimage，然后应用日志文件中的所有更改，以使文件系统状态在内存中保持最新。这个过程需要时间。

secondarynamenode 作业不是作为名称节点的辅助，而只是定期读取文件系统更改日志并将它们应用到 f​​simage 文件中，从而使它保持最新。这允许 namenode 下次启动得更快。

不幸的是，secondarynamenode 服务不是备用的辅助namenode，尽管它的名字。具体来说，它不为名称节点提供 HA。这很好地说明了here .

参见 Understanding NameNode Startup Operations in HDFS .

请注意，最近的发行版(当前的 Hadoop 2.6)引入了 namenode High Availability using NFS (shared storage)和/或 namenode High Availability using Quorum Journal Manager .