linux - 从文件中提取包含大量字符串之一的行

Question

假设我有一个包含 10,000,000 行的数据文件。我有另一个包含 100,000 个字符串的文件 IDS。我想从 DATA 中提取所有包含来自 IDS 的字符串之一的行。附加条件是文件之间存在 1:1 关系，因此每个 ID 有一行 DATA，每个 DATA 有一个 ID。

使用标准 Linux 命令行实用程序执行此操作的最有效、最简单的方法是什么？

到目前为止我的想法:

1. 构建一个巨大的正则表达式并使用 grep(简单，可能会超出 grep 的一些限制)
2. 逐行检查 IDS 并分别为每个字符串 grep DATA，合并结果。 (简单，可能效率很低)
3. 在 python 中构建 IDS HashMap ，遍历 DATA，提取 ID 并对照 HashMap 进行检查(有点难)

Answer 1

grep -F -f IDS DATA

不要错过 -F:它可以防止将 IDS 解释为正则表达式，并启用更高效的 Aho-Korasick 算法。