c# - 在没有 PCA 的情况下在多类 svm 中找到正确的特征

Question

我正在使用多类 svm(一对一)对用户进行分类，分为 3 个类。在二进制中，我将能够绘制不同训练集的超计划方程中每个特征的权重分布。在这种情况下，我真的不需要 PCA 来查看超计划的稳定性和功能的相对重要性(顺便说一句，减少中心)。多类 svm 中的替代方案是什么，因为对于每个训练集，您有 3 个分类器，并且您根据三个分类器的结果选择一个类(已经是什么？出现次数最多的类或更大的判别式) ？无论哪个在这里并不重要)。任何人都有想法。

如果重要的话，我正在使用 Accord 使用 C# 进行编写。谢谢!

Answer 1

在使用一对一策略的多类 SVM 中，问题被划分为一组较小的二元问题。例如，如果您有三个可能的类，则使用一对一策略需要创建 (n(n-1))/n 二元分类器。在您的示例中，这将是

(n(n-1))/n = (3(3-1))/2 = (3*2)/2 = 3

其中每个问题都专门解决以下问题:

• 区分第 1 类和第 2 类(我们称之为 svm_a)。
• 区分第 1 类和第 3 类(我们称之为 svm_b)
• 区分第 2 类和第 3 类(我们称之为 svm_c)

现在，我发现您实际上在原始帖子中提出了多个问题，因此我将分别询问它们。首先，我将阐明决策过程的工作原理，然后告诉您如何检测哪些功能是最重要的。

既然您提到了 Accord.NET，该框架可能有两种方法来计算多类决策。默认的方法是使用决策定向非循环图(DDAG)，这只不过是顺序消除类。另一种方法是解决所有二元问题并选择大部分时间获胜的类(class)。您可以在对新样本进行分类时通过设置 method parameter 来配置它们。 SVM's Compute method的.

由于最常获胜的版本很容易理解，我将更多地解释一下默认方法 DDAG。

使用有向无环图进行决策

在这个算法中，我们测试每个 SVM 并消除在每轮中失败的类别。例如，算法从所有可能的类开始:

Candidate classes: [1, 2, 3]

现在它要求 svm_a 对 x 进行分类，它决定分类 2。因此，分类 1 丢失并且在进一步的测试中不再考虑:

Candidate classes: [2, 3]

现在它要求 svm_b 对 x 进行分类，它决定分类 2。因此，分类 3 丢失并且在进一步的测试中不再考虑:

Candidate classes: [2]

最终答案是 2。

检测哪些功能最有用

现在，由于一对一 SVM 被分解为 (n(n-1)/2) 个二元问题，因此分析哪些特征最重要的最直接方法是单独考虑每个二元问题。不幸的是，全局地确定哪些对整个问题最重要可能很棘手，但是可以检测哪些是最重要的，以区分 1 类和 2 类、1 类和 3 类、2 类和 3 类.

但是，如果您正在使用 DDAG，我可以在这里提供一个建议。使用 DDAG，可以 extract the decision path that lead to a particular decision 。这意味着在对整个数据库进行分类时，可以估计每个二进制机器的使用次数。如果您可以估计每个二进制机器的某个功能的重要性，并估计在数据库中的决策过程中使用一台机器的次数，也许您可​​以将它们的加权和作为该功能在机器中的有用程度的指标。您的决策过程。

顺便说一句，您可能还有兴趣尝试使用具有高 C 的 L1 正则化的逻辑回归支持向量机之一来执行稀疏特征选择:

// Create a new linear machine
var svm = new SupportVectorMachine(inputs: 2);

// Creates a new instance of the sparse logistic learning algorithm
var smo = new ProbabilisticCoordinateDescent(svm, inputs, outputs)
{
    // Set learning parameters
    Complexity = 100,
};