gpt4 book ai didi

hadoop - 如何计算Hadoop Storage?

转载 作者:可可西里 更新时间:2023-11-01 16:36:27 26 4
gpt4 key购买 nike

我不确定我是否计算正确,但例如我使用 Hadoop 默认设置并且我想计算我可以在我的集群中存储多少数据。例如,我有 12 个节点,每个节点分配给 HDFS 存储的总磁盘空间为 8 TB。

我只计算 12/8 = 1.5 TB 吗?

最佳答案

您没有包括复制因子和处理任何数据的开销。另外,如果所有磁盘都快满了,Hadoop 将无法运行

因此,8 TB 将首先除以 3(未启用新的纠删码),然后除以节点数

但是,从技术上讲,您无法达到 100% 的 HDFS 使用率,因为一旦您开始超过 85% 的使用率,服务就会开始失败,所以实际上,您的起始数字应该是 7TB

关于hadoop - 如何计算Hadoop Storage?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51766279/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com