hadoop - hdfs dfs -ls在路径和文件名上带有通配符

Question

我正在尝试在某些根目录下获取所有文件，并在子目录和文件名中包含模式。
即

below are hdfs path and files I'd like to filter from current partition/hdfs directories

/parent/2020-03-15/1/sales_28394.txt
/parent/2020-05-20/3/sales_38750.txt
/parent/2020-06-30/5/sales_97412.txt

所以我想使用以下命令列出所有上述文件以及其他文件

hdfs dfs -ls /parent/*/sales_*.txt

但我找不到可行的解决方案。这有点挑战，因为需要同时从路径和文件名考虑模式

Answer 1

您可以使用find命令:

hdfs dfs -find /parent -name "sales_*.txt"

请注意， find仅在v2.7 +中可用。您可以阅读有关它的更多信息 here
如果您使用的是旧版本，则可以将输出传递到grep:

hdfs dfs -ls -R -C /parent | grep "sales_.*\.txt$"

-R用于递归， -C仅用于文件名。