hadoop - HDFS 连接操作 : Does it lead to increased seek time?

Question

我试图了解 HDFS 如何实现 concat 操作并深入到以下部分 code .

在我看来，从这个实现来看，concat 只是对目标文件的 inode 进行元操作，实际 block 没有移动。我在想这是否会导致碎片化 + 增加寻道时间，因为不同的 block 会位于磁盘上的不同位置(考虑磁盘)。这个假设是否正确？如果是，我们可以避免这种情况吗？

Answer 1

经过几次实验，我找到了自己问题的答案。在非常频繁的文件连接操作(每分钟约 1k)之后，数据节点开始提示一天左右的 block 太多，这让我相信这确实会导致碎片化和磁盘上 block 数量的增加。我使用的解决方案是编写一个单独的作业，将这些文件连接(在我的情况下压缩)到一个可拆分的存档中(注意 gzip 不可拆分!)。