python - 逻辑回归 - 计算每个属性对最终概率的贡献程度

Question

我正在尝试计算观察的每个属性对逻辑回归给出的最终概率的贡献有多大。我已经在我的数据集上训练了 python sklearn 逻辑回归。现在我用它来对实时数据集进行预测。我想知道每个属性 (X) 对 sklearns Predict_proba 方法给出的最终预测有多大贡献。

这是通过 logreg 计算概率的公式。

ln p/(1-p)=α+ β^TX

p；为 1 的概率α;偏见β^T;系数转置X;属性值

Answer 1

二元逻辑回归

假设二元逻辑回归非常简单；您输入的每个特征都有权重，训练后，权重会增加或减少概率。

假设您有 4 个功能并输出 0 或 1。假设训练后，这些特征的系数分别为:

[0.0, -2.2, 1.3, -0.45]

在这里，您可以轻松地看到，如果特定示例的此输入特征大于零(或者，换句话说，特征2与概率正相关)。

另一方面，第一个特征(-2.2)与概率负相关，而第零个特征无论其值如何对概率结果都没有影响。

您可以通过发出来获取这些系数/权重

clf.coeffs_

假设您的 LogisticRegression 名为 clf。

多项逻辑回归

一般来说，多项式逻辑回归会有一个特征矩阵，每行代表一个标签的概率。

再次假设您要将输入分类为 5 类和 34 输入特征之一，并假设学习的权重矩阵如下所示:

[
    [0.1, 2.2, -0.1, 0.133], # Features of class 0
    [-2, -1.1, 0, 4.56],
    [-0.1, 0, 0.3, 0.4],
    [3.3, -2, 15, -9.4],
    [0.45, 0.5, 0.66, 5.5],
]

现在您可以应用与上面相同的想法；让我们看看每个 4 特征如何影响输出标签 3 的概率，因此我们采用这一行:

[3.3, -2, 15, -9.4]

可以看到，特征0和2与输出标签3的概率呈正相关，而特征1与输出标签3的概率呈正相关。 code> 和 3 为负数。

偏差

偏见会贡献先验知识。假设所有权重均为零。在二元情况下，只有一个偏差，因此它要么输出小(负偏差)概率，要么输出大(正偏差)概率。

在多项式情况下，每个类都有一个偏差，但其工作原理类似。

系数的贡献

您可以将权重归一化到[-1, 1]范围内，最大的负权重对输出零概率影响最大，最高的正权重对输出概率1影响最大。