python:如何在 scikit 学习分类器 (SVM) 等中使用 POS(词性)特征

Question

我想将 nltk.pos_tag 返回的词性 (POS) 用于 sklearn 分类器，如何将它们转换为向量并使用它？例如

sent = "这是 POS 示例"

tok=nltk.tokenize.word_tokenize(已发送)pos=nltk.pos_tag(tok)打印(位置)

返回以下内容[('This', 'DT'), ('is', 'VBZ'), ('POS', 'NNP'), ('example', 'NN')]

现在我无法应用任何矢量化器(DictVectorizer，或 FeatureHasher，来自 scikitlearn 的 CountVectorizer)在分类器中使用

请推荐

Answer 1

如果我没听错的话，这有点棘手。一旦你标记它，你的句子(或文档，或其他什么)不再由单词组成，而是由成对(单词 + 标签)组成，并且不清楚如何从中制作最有用的标量向量。

大多数文本向量化器都会做一些事情，比如计算每个词汇项出现的次数，然后为每个词项制作一个特征:

 the: 4, player: 1, bats: 1, well: 2, today: 3,...

下一个文档可能有:

 the: 0, quick:5, flying:3, bats:1, caught:1, bugs:2

两者都可以存储为整数数组，只要您始终将相同的键放在相同的数组元素中(对于大多数文档，您将有很多零)——或存储为字典。因此，矢量化器会为许多“文档”执行此操作，然后对其进行处理。

因此，您的问题归结为如何将成对列表转换为向量化器可以计数的平面项目列表。

最简单的方法是将数据扁平化为

('This', 'POS_DT', 'is', 'POS_VBZ', 'POS', 'POS_NNP', 'example', 'POS_NN')

通常的计数会得到一个包含 8 个词汇项的向量，每个词项出现一次。我重命名了标签以确保它们不会与单词混淆。

这会让您启动并运行，但可能不会有太大成就。这是因为仅仅知道样本中每个词性出现的次数可能无法告诉您您需要什么——请注意，在向量化器进行计数后，关于词性与词性的任何概念都消失了。

如果您试图区分风格之类的东西，那么对其运行分类器可能会有一些值(value)——小说可能有更多的形容词，实验室报告可能有更少的专有名词(也许)，等等。

相反，您可以将数据更改为

('This_DT', 'is_VBZ', 'POS_NNP', 'example_NN')

这使得每个标签“绑定(bind)”到它所属的单词，所以现在向量将能够区分“ bat ”用作动词的样本和仅用作名词的样本。这会告诉您略有不同的事情——例如，“bat”作为动词更可能出现在有关棒球的文本中，而不是有关动物园的文本中。

您还可以进行许多其他安排。

为了在自然语言文本上使用矢量方法获得良好的结果，您可能需要花很多心思(和测试)来确定您希望矢量化器生成和使用哪些特征。这在很大程度上取决于您最终要实现的目标。

希望对您有所帮助。