shell - 检查 hdfs 中的文件大小

Question

我可以使用以下命令检索 hdfs 文件的大小:

hadoop fs -du -s /user/demouser/first/prod123.txt | cut -d ' ' -f 1

给我的输出为 82(以字节为单位)。现在我只想将这个文件与另一个文件合并，前提是它的大小小于 100 MB。我正在使用 shell 脚本将所有这些命令写入一个文件中。如何将其转换为 MB，然后比较大小？有什么具体的命令吗？

Answer 1

只需使用:

hdfs dfs -du -h /path/to/file

我通过复制您的命令在我的集群上尝试了同样的操作。唯一可能的错误是您正在使用 hadoop fs，只需使用 hdfs dfs 并确保您以 HDFS 用户身份登录。