nlp - 如何将 reuters-21578 数据集与 svm.net 一起使用进行文本分类？

Question

我刚刚开始一个文本分类应用程序，并且阅读了很多有关该主题的论文，但到目前为止我不知道如何开始，我觉得我还没有了解整个图像。我已经获得了训练数据集并阅读了其描述，并获得了 SVM 算法 (SVM.Net) 的出色实现，但我不知道如何在该实现中使用该数据集。我知道我应该从数据集的文本中提取特征并将这些特征用作 SVM 的输入，因此任何人都可以告诉我有关如何提取文本特征并将其用作 SVM 算法的输入的详细教程，然后使用这个算法对新文本进行分类？如果有一个关于使用 SVM 进行文本分类的完整示例，那就太好了。

如有任何帮助，我们将不胜感激。提前致谢。

Answer 1

创建文本分类特征可以像您希望的那样复杂。

一种简单的方法是将每个不同的术语映射到特征索引。然后，您将每个文档表示为每个术语的频率向量。 (您可以删除停用词、权重术语等)。对于文本分类，您还可以为每个向量分配标签。

例如，如果文档是句子:

John loves Mary

带有“垃圾邮件”标签。

那么你可能有以下映射:

John : 1
loves: 2
Mary: 3

你的向量就变成:

1 1 2 1 3 1

(我假设每个特征的权重为一)

我不了解 SVM.NET，但大多数监督机器学习方法都会接受基于向量的输入。