tensorflow - 在温度预测方面哪种损失函数比 MSE 更好？

Question

我的特征向量大小为 1x4098。每个特征向量对应一个 float (温度)。在训练中，我有 10,000 个样本。因此，我的训练集大小为 10000x4098，标签为 10000x1。我想使用线性回归模型从训练数据预测温度。我使用带有 MSE 损失的 3 个隐藏层(512、128、32)。然而，我使用 TensorFlow 只获得了 80% 的准确率。你能向我建议其他损失函数以获得更好的性能吗？

Answer 1

让我对损失函数的选择给出一个相当理论化的解释。正如您可能猜到的，这一切都取决于数据。

MSE 有一个很好的概率解释:它对应于 MLE(最大似然估计)，假设分布 p(y|x) 为高斯分布:p(y|x) ~ N(μ，西格玛)。由于 MLE 收敛于真实参数值，这意味着在这种假设下，找到的最小值很可能是您可以获得的最佳拟合。当然，您可能会发现局部最小值而不是全局最小值，还隐含假设您的训练数据很好地代表了x分布。但这种不确定性是不可避免的，所以我们实际上只能接受它。

继续，在假设 p(y|x) 有 Laplace distribution 的情况下，L1 损失(绝对差)最小化相当于 MLE 最大化。 。这是相同的结论:如果数据符合此分布，则没有其他损失比 L1 损失效果更好。

Huber loss没有严格的概率解释(至少我不知道)，它在某种程度上介于 L1 和 L2 之间，更接近其中之一，具体取决于 delta 的选择。

它如何帮助您找到正确的损失函数？首先，这意味着没有任何损失默认优于其他损失。其次，你对数据了解得越多，你就越能确定你选择的损失函数是正确的。当然，您可以交叉验证所有这些选项并选择最佳的一个。但进行此类分析的一个很好的理由是:当您对数据分布充满信心时，您将看到通过添加新的训练数据和增加模型复杂性而得到的稳步改进。否则，模型可能永远无法泛化。