database - 将 n-gram 存储在数据库中 < n 个表中

Question

如果我正在编写一个软件，试图使用用户之前输入的两个词来预测用户下一个将输入的词，我会创建两个表。

像这样:

== 1-gram table ==
Token | NextWord | Frequency
------+----------+-----------
"I"   | "like"   | 15
"I"   | "hate"   | 20

== 2-gram table ==
Token    | NextWord   | Frequency
---------+------------+-----------
"I like" | "apples"   | 8
"I like" | "tomatoes" | 12
"I hate" | "tomatoes" | 20
"I hate" | "apples"   | 2

按照此示例实现，用户键入“I”，软件使用上述数据库预测用户将要键入的下一个词是“hate”。如果用户确实输入了“hate”，那么软件将预测用户要输入的下一个词是“tomatoes”。

但是，这种实现需要为我选择考虑的每个额外的 n-gram 创建一个表。如果我决定在预测下一个词时考虑前面的 5 或 6 个词，那么我将需要 5-6 个表，并且每个 n-gram 的空间呈指数增长。

仅在一个或两个表中表示它的最佳方式是什么，它对我可以支持的 n-gram 数量没有上限？

Answer 1

试试两列表 -

phrase, frequency

一种优化方法是对短语中的某些词进行“规范化”，例如“不是”到“不是”。

第二个优化是使用 MD5、CRC32 或短语的类似散列作为 key 。