hadoop - HDFS block 大小和网络复制流量之间有什么关系？

Question

相对于我们认为通过 OpenTSDB 写入的数据量，我们的 HBase 集群有大量的网络流量。

将字节中继到 OpenTSDB:

以字节为单位的网络吞吐量(Y 轴是 SI 单位，因此不是 base2):

我们使用 Cloudera，所以 block 是 128MB，将其更改为 64MB 会减少网络复制流量吗？是否还有其他后果需要考虑？

Answer 1

要清楚地回答降低 block 大小会减少复制流量的问题，答案是不会。

HDFS 客户端不会一次写入整个 block 的数据 - 它们一次将写入流化为 64k-128k 字节的小校验和数据包(可配置)，在管道中的 DataNode(s) 上构建整个 block .

降低 block 大小只会产生一种效果:更多数据节点上的更多 block 。它不会改变传输速率和总网络利用率，这完全由目标数据写入大小和复制因子驱动​​，而不是由 HDFS 逻辑 block 大小属性驱动。