machine-learning - 回归。优化偏态分布的中位数而不是均值

Question

假设我对一些倾斜的数据分布执行 DNN 回归任务。现在我使用平均绝对误差作为损失函数。

机器学习中的所有典型方法都是最小化平均损失，但对于倾斜来说这是不恰当的。从实际角度来看，最好尽量减少中值损失。我认为一种方法是用一些系数来惩罚巨大的损失。然后平均值将接近中位数。但是如何计算未知分布类型的系数呢？还有其他方法吗？你有什么可以建议的？(我使用的是tensorflow/keras)

Answer 1

只需使用keras中的平均绝对误差损失函数，而不是均方。平均绝对值几乎等于中位数，并且无论如何对于异常值或倾斜数据都更加稳健。您应该查看所有可能的 keras 损失:

https://keras.io/losses/

显然，您也可以创建自己的。但对于大多数数据集，仅根据经验证明均方可以提高准确性。所以我建议在选择平均绝对方法之前至少尝试这两种方法。