machine-learning - 机器学习和 m 估计

Question

我正在研究机器学习问题，数据中有一些异常值，希望对它们进行平滑处理。我读到了一些关于使用 m-estimate 来解决此类问题的内容。我在网络和 stackoverflow 上进行了详尽的搜索，但找不到一个好的例子。有人可以推荐一些资源，让我可以阅读有关该主题的更多信息吗？

谢谢!

Answer 1

如果我没记错的话，M 估计器源自 Huber 的工作。他研究了使估算器稳健的方法。然而，为了测量稳健性，需要考虑一种非常特殊的稳健性类型。它被称为“故障点”，简单来说就是异常值占该方法可以处理的总点数的百分比。再有一个异常值，它就崩溃了。

请注意，这种类型的鲁棒性与计算机视觉中的鲁棒性有很大不同。在计算机视觉中，异常值可能并不多，但它们可能会(以结构化点的形式)共同破坏最稳健的估计器。由于这个原因，在计算机视觉中你会遇到 Hough transform和 RANSAC对线路进行稳健的估计。

此外，一种对异常值具有很强弹性的 M 估计器是一种限制分配给极端异常值的值的 M 估计器。这些就是所谓的redescending M-estimators 。它们确实非常强大，因为极端异常值(称为“总异常值”)被分配零权重，或者换句话说，在回归中根本不考虑这些异常值。

如果您想了解单个异常值的影响，我挑战您编写一个简单的线性最小二乘倍频程程序。或者，如果您认为更简单，则可以使用完整的最小二乘程序(您可以只进行奇异值分解，并且 svd 是内置的)。