bash - 计算 HDFS 文件夹中具有给定扩展名的文件数

Question

我正在编写一个 bash 脚本，它应该能够计算指定文件夹中的 json 文件的数量。

我现在正在做的是:

hdfs dfs -ls /path/to/files/*.json | grep -E '^-' | wc -l

当至少有一个文件时，它返回结果的数量，但是当没有json文件时，我希望结果为0，因为路径存在但不包含任何匹配的文件*.json 模式。然而，我得到的是一个错误:

ls: `/path/to/files/*.json': No such file or directory

这是预期的行为吗？

Answer 1

是的，这是默认行为。由于这些是错误消息，因此它们被发送到 stderr 而不是 stdout。

如果你需要抑制消息，你可以像这样使用它:-

hdfs dfs -ls  <hdfs_location>/*.json -R 2>/dev/null | grep -E '^-' | wc -l

(如果没有找到具有匹配扩展名的文件，它将只显示 0(没有错误))。

您也可以引用:- https://unix.stackexchange.com/questions/82698/how-to-mute-ls-command