php - N-gram : Explanation + 2 applications

Question

我想用 n-gram 实现一些应用程序(最好用 PHP)。

---

哪种类型的 n-gram 更适合大多数用途？单词级别还是字符级别的 n-gram？如何在 PHP 中实现 n-gram-tokenizer？

---

首先，我想知道 N-gram 到底是什么。这个对吗？这就是我对 n-gram 的理解:

句子:“我住在纽约。”

词级二元组(n 为 2):“# I”、“I live”、“live in”、“in NY”、“NY #”<​​/p>

字符级二元组(2 个代表 n):“#I”、“I#”、“#l”、“li”、“iv”、“ve”、“e#”、“#i”、“in” ", "n#", "#N", "NY", "Y#"

当您拥有这个 n-gram-parts 数组时，您可以删除重复的部分并为每个部分添加一个计数器以给出频率:

词级二元组:[1, 1, 1, 1, 1]

字符级二元组:[2, 1, 1, ...]

这是正确的吗？

---

此外，我想进一步了解您可以使用 n-gram 做什么:

• 如何使用 n-gram 识别文本的语言？
• 是否可以使用 n-gram 进行机器翻译，即使您没有双语语料库？
• 如何构建垃圾邮件过滤器(垃圾邮件、非垃圾邮件)？将 n-gram 与贝叶斯过滤器相结合？
• 如何进行主题定位？例如:有关篮球或狗的文字？我的方法(用维基百科关于“狗”和“篮球”的文章执行以下操作):为两个文档构建 n-gram 向量，对其进行归一化，计算曼哈顿/欧几里德距离，结果越接近 1 越高相似度

您如何看待我的申请方法，尤其是最后一个？

---

我希望你能帮助我。提前致谢!

Answer 1

对于您提到的大多数文本分析应用程序，单词 n-gram 通常会更有用，但语言检测可能除外，在这种情况下，诸如字符三元组之类的东西可能会提供更好的结果。实际上，您将为您有兴趣检测的每种语言的文本语料库创建 n-gram 向量，然后将每个语料库中三元组的频率与您正在分类的文档中的三元组进行比较。例如，三元组 the 在英语中的出现频率可能比在德语中的出现频率高得多，并且会提供某种程度的统计相关性。获得 n-gram 格式的文档后，您可以选择多种算法进行进一步分析、Baysian 滤波器、N-最近邻、支持向量机等。

在您提到的应用程序中，机器翻译可能是最牵强的，因为单独的 n-gram 不会让您走得很远。将输入文件转换为 n-gram 表示只是将数据转换为格式以进行进一步特征分析的一种方式，但是由于您会丢失大量上下文信息，因此可能对翻译没有用处。

需要注意的一点是，为一个文档创建一个向量 [1,1,1,2,1] 为另一个文档创建一个向量 [2,1,2,4] 是不够的，如果尺寸不匹配。也就是说，向量中的第一个条目不能是一个文档中的 the 和另一个文档中的 is ，否则算法将不起作用。你最终会得到像 [0,0,0,0,1,1,0,0,2,0,0,1] 这样的向量，因为大多数文档不会包含你感兴趣的大多数 n-gram。这个“衬里”特征的增加是必不可少的，它要求您“提前”决定您将在分析中包含哪些 ngram。通常，这是作为两遍算法实现的，首先确定各种 n-gram 的统计显着性以决定保留什么。谷歌“功能选择”了解更多信息。

基于单词的 n-gram 和支持向量机以一种出色的方式执行主题定位，但是您需要预先分类为“主题”和“主题外”的大量文本语料库来训练分类器。您会在 citeseerx 等网站上找到大量研究论文，解释解决此问题的各种方法。 .我不会推荐欧几里得距离方法来解决这个问题，因为它不会根据统计显着性对单个 n-gram 进行加权，因此两个文档都包含 the、a、 is 和 of 将被视为比两个都包含 Baysian 的文档更好的匹配。从您感兴趣的 n-gram 中删除停用词会有所改善。