algorithm - 在大型文本语料库中查找常见单词序列的技术？

Question

是否有任何算法可以在大型文本语料库中高效地找到 n 个最常见的 k 词序列？

因此，例如，如果 n = 1 和 k = 5，我的语料库是:

a b a b a c d e f a b a b a c c b c b a b c

输出将是 a b a b a

Answer 1

这是一个简单的算法。将单词序列拆分为 k 个单词的序列，每个单词逐行拆分。对于您的示例，我们有:

a b a b a
b a b a c
a b a c d
b a c d e
a c d e f
c d e f a
d e f a b
e f a b a
f a b a b
a b a b a
b a b a c
a b a c c
b a c c b
a c c b c
c c b c b
c b c b a
b c b a b
c b a b c
c b a b c

对它们进行排序:

a b a b a
a b a b a
a b a c c
a b a c d
a c c b c
a c d e f
b a b a c
b a b a c
b a c c b
b a c d e
b c b a b
c b a b c
c b a b c
c b c b a
c c b c b
c d e f a
d e f a b
e f a b a
f a b a b

现在很容易找到最常见的 k 序列。如果文件非常大，您可能需要对其进行拆分、排序，然后合并这些部分。