gpt4 book ai didi

hadoop - 当节点数少于复制因子时,HDFS 如何复制?

转载 作者:可可西里 更新时间:2023-11-01 15:03:25 25 4
gpt4 key购买 nike

例如,如果 Hadoop 集群由 2 个 DataNode 组成,并且 HDFS 复制因子设置为默认值 3,那么文件复制的默认行为是什么?

从我读到的内容来看,HDFS 似乎是基于机架感知的,但是对于这种情况,有人知道它是如何确定的吗?

最佳答案

它会认为这些 block 是复制不足的,它会一直提示这一点,它会永久地尝试使它们达到预期的复制因子。

HDFS 系统有一个参数(复制因子 - 默认为 3)告诉名称节点每个 block 应该如何复制(在默认情况下,每个 block 应该在整个集群中复制 3 次,根据给定的副本放置策略)。在系统设法将每个 block 复制到复制因子指定的次数之前,它将继续尝试这样做。

关于hadoop - 当节点数少于复制因子时,HDFS 如何复制?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11552075/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com