gpt4 book ai didi

hadoop - 失败后hadoop namenode dirs是否同步?

转载 作者:可可西里 更新时间:2023-11-01 14:41:54 26 4
gpt4 key购买 nike

在这种情况下会发生什么:Namenode 正在写入两个不同驱动器上的两个目录,一个是本地的,另一个(远程)是 mounted 。现在,namenode 失败了,我们在远程机器上启动 namenode 进程(它有原始 namenode 数据的副本,所以它是安全的)并更改所有 datanodes 上的 namenode 的 ip。一段时间后,我们设法使原来的名称节点与之前的配置完全一致。我们停止远程机器上的名称节点进程。现在,本地 fs.name.dir 是否会与挂载的同步(我的意思是在挂载目录上累积的差异,而原始名称节点已关闭)还是名称节点数据一致性会出现问题?

最佳答案

Now, will the local fs.name.dir be synchronized with the mounted one (I mean the diff which was accumulated on the mounted dir, while the original namenode was down) or there will be a problem with namenode data consistency?

本地 NN 数据将在其关闭时过时。对远程 NN 命名空间所做的所有更改都不会出现在本地 NN 上。

请注意,NN 仅存储文件系统的命名空间以及命名空间到 block ID 的映射。存储 block 的位置不存储在 NN 中。当一个 DN 启动时,它向 NN 发送 block 报告。

检查 thisthis在 HDFS NN HA 上。

change namenode's ip on all datanodes. After a while, we manage to bring the original namenode to life with exact previous configuration. We stop the namenode process on the remote machine.

上述场景都会出现宕机。

关于hadoop - 失败后hadoop namenode dirs是否同步?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8552760/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com