scikit-learn - 分类 - 修改后的 huber 损失 : how is it more tolerant to outliers?

Question

根据scikit-learn SGDClassifier documentation ，修改后的 Huber 损失函数可用于对异常值提供更高的容忍度。

看看 plot虽然是成本函数的一部分，但 Modified Huber 似乎不是不太宽容吗？它似乎会给 f(x)<0 的观察带来更高的成本，即位于边缘错误一侧的观察。这不对吗？

Answer 1

这里的问题是 scikit-learn 文档没有说明我们应该将 Modified Huber 对异常值的容忍度与哪个基线损失函数进行比较。

Modified Huber loss源于Huber loss，用于回归问题。看着这个plot ，我们看到 Huber 损失对异常值的容忍度高于平方损失。正如您所指出的，其他损失函数对异常值的容忍度更高，但平方铰链损失除外。