gpt4 book ai didi

hadoop - 具有高可用性的 Namenode 与基于 zookeeper 的领导者选择

转载 作者:可可西里 更新时间:2023-11-01 16:28:47 24 4
gpt4 key购买 nike

我正在阅读 Apache Hadoop 文档和 cloudera 文档中的 2 个不同内容。
基于cloudera,我们应该在高可用性模式下设置namenode,即:通过定义主要和次要namenode,但根据Hadoop文档,这应该由zookeeper自动处理,它应该在可用datanodes中决定namenode。

谁能解释一下区别和使用哪一个?

最佳答案

by defining primary and secondary namenode

有一个“辅助名称节点”这样的东西,但它实际上是一个非常不同的东西,因为它不是备用的并且能够变为事件的。

没有“对”。 Namenode HA 需要 Zookeeper

如果您阅读更多 Cloudera documentation它并没有提到 Zookeeper。

Automatic failover adds two new components to an HDFS deployment: a ZooKeeper quorum, and the ZKFailoverController process (abbreviated as ZKFC).

Cloudera 没有在核心 Hadoop 功能之上打包太多额外功能(如果有的话)。

关于你的问题...

this should automatically taken care by zookeeper

如果(手动)配置了 HDFS Zookeeper 属性、Zookeeper 正在运行并且 Active Namenode 关闭,则故障转移是自动的。

among the available datanodes

操作与datanodes无关

关于hadoop - 具有高可用性的 Namenode 与基于 zookeeper 的领导者选择,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46414601/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com