hadoop - 如果我们使用 DistCp 命令， block 大小从 Cluster1 到 Cluster2 有何变化？

Question

我正在处理“DistCp”命令以将一些关键文件从 My Cluster1 移动到 Cluster2。这些关键文件之前以 64MB 的 Blocksize 驻留。现在转移到 Cluster2 [它有 128MB 的 block 大小]。

在 DistCp 移动之后，关键文件性能将如何随着 Cluster2 中的新 block 大小而增加..性能增加或减少..？？？

Answer 1

这取决于您的文件。 Hadoop 文件应该按顺序读取，如果您的文件很大(比如 Gbs 或 Tbs)，如果您增加 block 大小，它会提高性能，因为它会减少要执行的任务数量。使用 Distcp 进行复制不会保留文件的 block 属性，因为 block 配置因集群而异。