bash - grep -vf 大文件太慢

Question

我正在尝试使用存储在文件 filter.txt 中的模式从 data.txt 过滤数据。如下所示，

grep -v -f filter.txt data.txt > op.txt

对于 filter.txt 中的 30-40K 行和 data.txt 中的约 300K 行，此 grep 需要超过 10-15 分钟。

有什么办法可以加快速度吗？

数据.txt

data1
data2
data3

过滤器.txt

data1

操作.txt

data2
data3

这适用于 codeforester 提供的解决方案，但当 filter.txt 为空时失败。

Answer 1

基于 Inian's related 中的解决方案发布，这个 awk 命令应该可以解决您的问题:

awk 'FNR==NR {hash[$0]; next} !($0 in hash)' filter.txt data.txt > op.txt