unix - grep -f 替代大文件

Question

grep -F -f file1  file2

file1 为 90 Mb(250 万行，每行一个字)

文件 2 是 45 Gb

无论我让它运行多久，该命令实际上都不会产生任何结果。显然，这超出了 grep 的范围。

似乎 grep 无法处理来自 -f 的那么多查询选项。但是，以下命令 产生想要的结果:

head file1  >  file3
grep -F -f file3   file2

鉴于文件大小，我怀疑 sed 或 awk 是否是合适的替代品。

我对替代品感到茫然……请帮忙。值得学习一些 sql命令？容易吗？任何人都可以指出我正确的方向吗？

Answer 1

尝试使用 LC_ALL=C 。它将搜索模式从 UTF-8 转换为 ASCII，速度提高了原来的 140 倍。我有一个 26G 的文件，我需要大约 12 个小时才能完成几分钟。
来源:Grepping a huge file (80GB) any way to speed it up?

所以我要做的是:

LC_ALL=C fgrep "pattern" <input >output