linux - 递归搜索grep

Question

我正在尝试通过 HDFS 搜索 parquet 文件并列出它们。我正在用这个，效果很好。它查看了 /sources.works_dbo 中的所有子目录，并为我提供了所有 Parquet 文件:

 hdfs dfs -ls -R /sources/works_dbo | grep ".*\.parquet$"

但是；我只想返回它在每个子目录中遇到的第一个文件，以便每个子目录只出现在我的输出中的一行中。假设我有这个:

sources/works_dbo/test1/file1.parquet
sources/works_dbo/test1/file2.parquet
sources/works_dbo/test2/file3.parquet

当我运行我的命令时，我希望输出看起来像这样:

sources/works_dbo/test1/file1.parquet
sources/works_dbo/test2/file3.parquet

Answer 1

... | awk '!seen[gensub(/[^/]+$/,"",1)]++' file
sources/works_dbo/test1/file1.parquet
sources/works_dbo/test2/file3.parquet

以上代码使用 GNU awk 来实现 gensub()，对于其他 awk，您将使用变量和 sub():

awk '{path=$0; sub(/[^/]+$/,"",path)} !seen[path]++'

它适用于任意长度路径的任意混合。