text-extraction - 如何使用 PoS 标签作为朴素贝叶斯分类器训练数据的特征？

Question

我正在为我的论文研究如何从文档中提取关键短语。

在我的研究中，我使用朴素贝叶斯分类器机器学习来创建候选术语特征的训练模型。其中一个功能是 PoS 标签，我认为这个功能对于指定一个术语是否是关键短语很重要。

但是朴素贝叶斯 (NB) 分类器的输入是数字，而 PoS 标签是字符串。

所以我不知道如何将 PoS 标签特征表示为数字，以便成为 NB 分类器的输入特征。

请帮我出出主意。

感谢和问候，显素

Answer 1

您可以将词性标记视为一个词。然后你可以使用 POS unigram、bigram 或 trigram 作为特征。

例子:

他们/PRP 拒绝/VBP to/TO permit/VB us/PRB to/TO obtain/VB the/DT refuse/NN permit/NN.

如果以词性卦为特征。您可以构建具有以下特征的向量。

Feature          Value
(PRP,VBP,TO)      1
(VBP,TO,VB)       1 
(TO,VB,PRB)       1

等等。

您还可以将 tf-idf 值用于 POS 功能。