gpt4 book ai didi

shell - 检查 hdfs 中的文件大小

转载 作者:可可西里 更新时间:2023-11-01 14:32:33 25 4
gpt4 key购买 nike

我可以使用以下命令检索 hdfs 文件的大小:

hadoop fs -du -s /user/demouser/first/prod123.txt | cut -d ' ' -f 1

给我的输出为 82(以字节为单位)。现在我只想将这个文件与另一个文件合并,前提是它的大小小于 100 MB。我正在使用 shell 脚本将所有这些命令写入一个文件中。如何将其转换为 MB,然后比较大小?有什么具体的命令吗?

最佳答案

只需使用:

hdfs dfs -du -h /path/to/file

我通过复制您的命令在我的集群上尝试了同样的操作。唯一可能的错误是您正在使用 hadoop fs,只需使用 hdfs dfs 并确保您以 HDFS 用户身份登录。

关于shell - 检查 hdfs 中的文件大小,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50266166/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com