gpt4 book ai didi

hadoop - 平衡器在 HDFS 中如何工作?

转载 作者:可可西里 更新时间:2023-11-01 16:38:16 25 4
gpt4 key购买 nike

Balancer 迭代地将副本从利用率较高的 DataNode 移动到利用率较低的 DataNode。

这会影响机架意识的概念吗?

例如我将三台机器放在两个机架中,数据按照机架意识的概念放置。

如果我向集群添加一台新机器并运行平衡器命令会发生什么?

最佳答案

机架感知和数据本地化是一个 YARN 概念。 HDFS 平衡器只关心平衡 Datanode 的使用。

如果你有 3 台机器,默认情况下有 3 个副本,那么每台机器都可以保证有 1 个副本,因此有 2 个机架,你几乎可以保证有机架局部性。

无论如何,节点局部性比机架感知更高效。

如果节点之间的集群内速度为 10 GB,则数据局部性是一个有争议的问题。这就是为什么 AWS 仍然可以合理地在 S3 中处理数据,例如,在数据本地化处理不可用的地方

关于hadoop - 平衡器在 HDFS 中如何工作?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47216181/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com