python - 两个分类器之间的投票在 sklearn 中如何工作？

Question

对于分类任务，我使用投票分类器来集成逻辑回归和 SVM，并将投票参数设置为 soft。结果显然优于每个单独的模型。我不确定我是否理解它是如何工作的。模型如何找到仅两个模型之间的多数票？

Answer 1

假设您有两个类 class-A 和 class-B

Logistic 回归(具有内置的predict_proba() 方法)和SVC(set probability=True) 都能够估计类别概率在他们的输出上，即他们预测输入是否为 A 类 概率为 a 和 B 类 概率为 b .如果 a>b 那么它输出预测的类是 A 否则是 B 。在投票分类器中将投票参数设置为 soft 使它们(SVM 和 LogiReg)能够单独计算它们的概率(也称为置信度分数)并将其呈现给投票分类器，然后 voting classifier 对它们进行平均并输出概率最高的类别.

确保如果您设置 voting=soft，那么您提供的分类器也可以计算此置信度分数。

要查看每个分类器的置信度，您可以执行以下操作:

from sklearn.metrics import accuracy_score
y_pred=classifer_name.predict(X_test) #classifier_name=trained SVM/LogiReg/VotingClassifier
print(classifier_name.__class__.__name__,accuracy_score(y_true,y_pred))

注意:由于计算机浮点舍入，a+b 可能看起来不是1。但它是1。我不能说像决策函数这样的其他置信度分数，但使用 predict_proba() 就是这种情况。