python - 如何获取 SGDClassifier(线性 SVM)的概率

Question

我正在使用 SGDClassifier 和 loss function = "hinge"。但铰链损失不支持类标签的概率估计。

我需要计算roc_curve的概率。如何在不使用 svm 中的 SVC 的情况下获得 SGDClassifier 中铰链损失的概率？

我看到人们提到使用 CalibratedClassifierCV来获取概率，但我从未使用过它，也不知道它是如何工作的。

我真的很感谢你的帮助。谢谢

Answer 1

从严格意义上来说，这是不可能的。

支持向量机分类器是非概率的:它们使用超平面(2D 中的直线、3D 中的平面等)将点分成两个类之一。点仅由它们位于超平面的哪一侧来定义，这直接形成预测。

这与逻辑回归和决策树等概率分类器形成鲜明对比，后者为每个点生成概率，然后将其转换为预测。

CalibrateClassifierCV 是一种元估计器；要使用它，您只需将基本估计器的实例传递给其构造函数，这样就可以工作:

base_model = SGDClassifier()
model = CalibratedClassifierCV(base_model)

model.fit(X, y)
model.predict_proba(X)

它的作用是执行内部交叉验证以创建概率估计。请注意，这与 sklearn.SVM.SVC 所做的等效。