hadoop - Hadoop不显示不完整的文件吗？

Question

我正在使用命令 fs -put 将一个 100GB 的巨大文件复制到 HDFS。我的 HDFS block 大小是 128MB。文件复制需要很长时间。我的问题是在文件复制过程中，其他用户无法看到该文件。这是设计使然吗？我们如何允许另一个用户访问这个部分文件，以便他也可以监控复制进度。

Answer 1

尺寸是逐 block 显示的。因此，如果您的 bloack 大小为 128MB，那么当第一个 block 完成时，您会看到文件大小为 128MB，然后一段时间后您会看到大小为 256MB，依此类推，直到整个文件被复制。因此，您可以使用常规 HDFS UI 或命令行 hadoop fs -ls 来监控逐 block 复制进度。即使在复制过程中，您也可以使用 hadoop fs -cat 读取已复制的部分。