machine-learning - 如何在SVM中对不同大小的特征向量进行编码

Question

我致力于对一些由多个句子组成的评论(段落)进行分类。我通过 libSVM 在 Weka 中使用词袋功能对它们进行分类。但是，我有另一个想法，但我不知道如何实现:

我认为在评论中为每个句子创建基于句法和浅语义的特征值得尝试。然而，我找不到任何方法来顺序编码这些特征，因为段落的句子大小各不相同。我想保持这些特征的顺序的原因是句子特征的顺序可以为分类提供更好的线索。例如，如果我有两个实例 P1(有 3 个句子)和 P2(2 个句子)，我将有一个类似的空格(假设每个句子都有一个二元特征作为 a 或 b):

P1 -> a b b/classXP2 -> b a/classY

所以，我的问题是我是否可以在特征空间中实现不同特征大小的分类？如果是，我可以在 Weka、scikit-learn 或 Mallet 中使用任何类型的分类器吗？如果有任何回复，我将不胜感激。

谢谢

Answer 1

无论实现如何，具有标准内核(线性、多边形、RBF)的 SVM 都需要固定长度的特征向量。您可以通过编码为 bool 值来对这些特征向量中的任何信息进行编码；例如收集语料库中出现的所有语法/语义特征，然后引入表示“本文档中出现的此类特征”的 bool 值。如果捕获这些特征出现在多个句子中的事实很重要，请对它们进行计数并使用将频率放入特征向量中(但请务必根据文档长度对频率进行归一化，因为 SVM 不是尺度不变的)。