text - 如何将文本文档表示为文本分类的特征向量？

Question

我有大约 10,000 个文本文档。

如何将它们表示为特征向量，以便我可以将它们用于文本分类？

是否有任何工具可以自动进行特征向量表示？

Answer 1

最简单的方法是使用 bag of words模型。您将每个文档表示为一个无序的单词集合。

您可能想去掉标点符号，并且可能想忽略大小写。您可能还想删除诸如“and”、“or”和“the”之类的常见词。

要将其调整为特征向量，您可以从样本中选择(例如)10,000 个有代表性的单词，并有一个二元向量 v[i,j] = 1如果文档 i包含单词 j和 v[i,j] = 0否则。