python - 多类分类 : probabilities and calibration

Question

我正在使用 Python 和 scikit-learn 处理具有不同分类器的多类分类问题。我想使用预测概率，基本上是为了比较特定情况下不同分类器的预测概率。

我开始阅读有关“校准”的内容，例如在 scikit-learn和 a publication ，我变得很困惑。

据我了解:经过良好校准的概率意味着概率也反射(reflect)了某个类别的分数。

1. 这是否意味着如果我有 10 个均匀分布的类，则理想情况下每个类的校准概率都在 0.1 左右？

2. 我能否将 predict_proba 的概率(未经校准)解释为“分类器对这是正确类别的确定性有多大”？

希望有人能为我澄清一下! :)

Answer 1

我了解到您在使用 this 时遇到多类分类问题定义。 "All classifiers in scikit-learn do multiclass classification out-of-the-box."

在本例中，为 mentioned ,

CalibratedClassifierCV can calibrate probabilities in a multiclass setting if the base estimator supports multiclass predictions. [Which is always the case.]The classifier is calibrated first for each class separately in a one-vs-rest fashion. When predicting probabilities, the calibrated probabilities for each class are predicted separately. As those probabilities do not necessarily sum to one, a postprocessing is performed to normalize them.

我希望这能回答您的第一个问题。

回答您的第二个问题:是的，这就是和 predict_proba 校准之前的想法。然而，在校准之后，predict_proba 的结果实际上是正确的，而在校准之前，它们只是马马虎虎。

---

事后:

准确地说，我并没有试图从表面上回答你的第一个问题。您在那里询问了每个类(class)的概率。但是，由于我们讨论的是校准，因此您必须考虑 predict_proba 给出的是每个样本的输出，而不是每个类。我认为您的意思是每个样本，否则您应该说明:您是指所有样本的平均概率吗？