hadoop hdfs 目录大小显示为 0

Question

每次我使用 hadoop fs -ls/path_to_directory 或 hadoop fs -ls -h/path_to_directory ，结果是这样的

drwxr-xr-x   - hadoop supergroup          0 2016-08-05 00:22/user/hive-0.13.1/warehouse/t_b_city
drwxr-xr-x   - hadoop supergroup          0 2016-06-15 16:28/user/hive-0.13.1/warehouse/t_b_mobile

无论有无文件，HDFS内部目录大小始终显示为0。

从 Web UI 浏览会得到与以下相同的结果:

drwxr-xr-x  hadoop  supergroup  0 B 0   0 B t_b_city
drwxr-xr-x  hadoop  supergroup  0 B 0   0 B t_b_mobile

但是，这些目录中实际上有文件。使用hadoop fs -du -h/user/hive-0.13.1/warehouse/命令时，可以正确显示目录大小如下:

385.5 K   /user/hive-0.13.1/warehouse/t_b_city
1.1 M     /user/hive-0.13.1/warehouse/t_b_mobile

为什么 hdfs 和 Web UI 的 hadoop fs -ls 命令总是显示目录为 0？

此外，hadoop fs -ls 命令通常会立即完成，而 hadoop fs -du 则需要有时执行。看起来 hadoop fs -ls 命令实际上并没有花时间计算目录的总大小。

Answer 1

它按设计工作。 Hadoop 专为大文件而设计，不应期望它每次运行 hadoop fs -ls 命令时都会给出大小。如果 Hadoop 以您想要的方式工作，那么请尝试从另一个人的角度思考，他们可能只想查看目录是否存在；但最终等待很长时间只是因为 Hadoop 正在计算文件夹的大小；不太好。