machine-learning - 自然语言处理中的二值化

Question

二值化是将实体的彩色特征转换为数字向量(最常见的是二进制向量)的行为，为分类器算法提供良好的示例。

如果我们对句子“The cat ate the dogs”进行二值化，我们可以首先为每个单词分配一个 ID(例如 cat-1、ate-2、the-3、dog-4)，然后简单地替换单词的 ID 给出向量 <3,1,2,3,4>。

给定这些 ID，我们还可以创建一个二进制向量，方法是为每个单词提供四个可能的槽，并将与特定单词对应的槽设置为 1，给出向量 <0,0,1,0,1,0， 0,0,0,1,0,0,0,0,0,1>。据我所知，后一种方法通常被称为词袋法。

现在我的问题是，在描述一般自然语言处理的特征时，什么是最佳二值化方法，以及基于转换的依赖解析(使用 Nivres算法)特别是？

在这种情况下，我们不想对整个句子进行编码，而是对解析的当前状态进行编码，例如堆栈上的顶部单词和输入队列中的第一个单词。由于顺序高度相关，因此排除了词袋方法。

对于最佳，我指的是使数据对于分类器来说最容易理解的方法，而不占用不必要的内存。例如，如果实际存在的二元组只有 2%，我不希望单词二元组对 20000 个唯一单词使用 4 亿个特征。

由于答案也取决于特定的分类器，因此我最感兴趣的是最大熵模型(liblinear)、支持向量机(libsvm)和感知器，但也欢迎适用于其他模型的答案。

Answer 1

这实际上是一个非常复杂的问题。您必须做出的第一个决定是是否 lemmatize你的输入标记(你的话)。如果这样做，您将大大减少类型数量，并且语法分析也会变得不那么复杂。然而，对标记进行词形还原需要大量工作。现在，在计算机语言中，这项任务大大减少了，因为大多数语言都使用一组明确定义的符号(例如空格或句点等)分隔关键字或变量名称。

第二个关键决定是事后如何处理数据。您提供的二进制形式的“词袋”方法会忽略词序，如果您正在这样做 summarization of a text 则完全没问题。或者可能是 Google 风格的搜索，您不关心单词出现在哪里，只要它们出现即可。另一方面，如果您正在构建编译器或解析器之类的东西，那么顺序就非常重要。您可以使用标记向量方法(如第二段中所示)，也可以扩展词袋方法，使词袋向量中的每个非零条目包含标记的线性索引位置在短语中。

最后，如果您要构建 parse trees ，有明显的原因表明您想要使用标记向量方法，因为为词袋向量中的每个单词维护子短语 ID 是一个很大的麻烦，但很容易制作“子短语”向量”在标记向量中。事实上，Eric Brill 在他的 part-of-speech tagger 中使用了 token-id 序列。 ，这真的很简洁。

您介意我问一下您正在执行什么具体任务吗？