bash - 用于搜索必须包含两个特定关键字的文本文件的 Unix 脚本

Question

找到解决方案:(感谢 Zsolt Botykai 和 Mike Ryan)

将下面的脚本准确翻译成 awk 单行代码是:

find /home/data/ -type f -exec awk '/PATTERN1/ {c++} /PATTERN2/ {d++} c>0 && d>0 {print ARGV[1] ; exit 0 } END { if (! c || ! d) {exit 1}}' \{\} \; > assetsToDelete.txt 2>&1

参见 https://stackoverflow.com/a/9442764/356815

原始问题:

问题很简单，但我没有找到为此创建快速脚本的可能性。

我有 100,000 个文本文件，我需要搜索所有满足两个条件的文件。

我的脚本看起来像这样，但速度太慢了……还有更好的主意吗？

echo Searching for first criteria...
date
grep -rl 'PATTERN1' /home/data/assets/ > assets.txt
file=assets.txt

echo Now filtering for second criteria
date
for i in `cat $file`
do
  grep -l 'PATTERN2' $i >> assetsToDelete.txt
done
echo DONE
date

所以我正在寻找做这样的事情的可能性:

搜索一个目录，一步过滤掉所有满足condition1 AND condition2的文件。条件通常是模式匹配，但位于文件内容的不同行。

Answer 1

使用 awk 你可以做如下事情:

awk '/FIRSTPATTERN/ {c++}
     /SECONDPATTERN/ {d++}
     c>0 && d>0 {print ARGV[1] ; exit 0 } 
     END { if (! c || ! d) {exit 1}}' INPUTFILE

现在你可以像这样使用它:

find /YOUR/PATH -type f -exec \
awk '/FIRSTPATTERN/ {c++}
     /SECONDPATTERN/ {d++}
     c>0 && d>0 {print ARGV[1] ; exit 0 } 
     END { if (! c || ! d) {exit 1}}' \{\} \;