machine-learning - 逻辑回归直接支持多个类别

Question

我的理解是 Softmax 回归是 Logistic 回归的推广，以支持多个类别。

Softmax 回归模型首先计算每个类别的分数，然后通过将 softmax 函数应用于分数来估计每个类别的概率。

每个类都有自己专用的参数向量

我的问题:为什么我们不能使用 Logistic 回归以更简单的方式分类到多个类，例如概率为 0 到 0.3 则为 A 类； 0.3 至 0.6，然后 B 级:0.6 至 0.9，然后 C 级等。

为什么总是需要单独的系数向量？

我是机器学习新手。不确定这个问题是否是由于缺乏任何基本概念理解造成的。

Answer 1

首先，就术语而言，我想说一个更成熟的术语是 multinomial logistic regression 。

Softmax 函数是计算概率的自然选择，因为它 corresponds to MLE 。 Cross-entropy loss也有概率解释 - 这是两个分布(输出和目标)之间的“距离”。您建议以人工方式区分类别 - 输出二进制分布并以某种方式将其与多类别分布进行比较。从理论上讲，这是可能的并且可能有效，但肯定有缺点。例如，训练比较困难。

假设输出为 0.2(即 A 类)，基本事实为 B 类。您希望告诉网络转向更高的值。下一次，输出是 0.7 - 网络实际上学习并朝着正确的方向移动，但你再次惩罚它。事实上，存在一些不稳定点(示例中的 0.3 和 0.6)，网络需要时间来学习这些不稳定点。两个值 - 0.2999999 和 0.3000001 对于网络来说几乎无法区分，但它们决定结果是否正确。

一般来说，概率分布的输出总是比直接判别更好，因为它提供了更多信息。