machine-learning - 为什么不通过回归来进行分类呢？

Question

一份机器学习 Material 说，通过回归来处理分类问题是一个坏主意。但我认为总是可以进行连续回归来拟合数据并截断连续预测以产生离散分类。那么为什么这是一个坏主意呢？

Answer 1

如果您正在进行分类，您希望优化与错误分类相关的某些内容。您只关心预测正确的类别。当您进行回归时，您希望最小化预测值与实际值之间的某些失真程度。均方误差是回归的常见惩罚函数。

想象一下优化最终将进行分类的回归器的参数。有一个例子，显然是 1 类，但其标签非常非常大。为了最大限度地减少此示例中的损失，您必须大幅改变权重以使此示例的预测变得极端。然而，现在你的分类边界移动了很多，损害了你的分类准确性。当你不需要的时候你过度补偿了。

您可以将此图表视为您将移动权重的量，作为您错误预测示例的函数。

这里的大多数损失函数都是错误分类损失的上限。优化错误分类上限的模型可以很好地进行分类。使用回归进行分类类似于选择平方误差损失，并且本质上错误地表示了您想要优化的内容。这对应于平方误差损失向图右侧向上移动，即使分类变得越来越有信心，并且好的分类损失函数都为 0 或达到该值。

图片取自优秀Elements of Statistical Learning Theory .