neural-network - 训练神经网络的 MSE 成本函数

Question

在 online textbook 中关于神经网络和深度学习，作者通过最小化二次成本函数来说明神经网络基础知识，他说这与均方误差同义。有两件事让我感到困惑不过，关于他的功能(下面的伪代码)。

均方误差≡(1/2n)*∑‖y_true-y_pred‖^2

1. 为什么不是将误差平方和除以训练样本数n，而是除以2n？这是什么意思？
2. 为什么使用双杠符号而不是括号？这让我想到还有其他一些计算正在进行，例如 L2 范数，但没有明确显示。我怀疑情况并非如此，该术语旨在表达简单的旧平方误差和。不过 super 困惑。

非常感谢您提供的任何见解!

Answer 1

成本函数乘以 0.5 的系数并不重要。事实上，您可以将它乘以任何您想要的实常数，并且学习是相同的。它仅用于使成本函数相对于输出的导数简单地为 $$y - y_{t}$$。这在某些应用中很方便，例如反向传播。