machine-learning - 成本函数中额外的因子 2

Question

一些 TensorFlow 示例计算成本函数如下:

cost = tf.reduce_sum((pred-y)**2 / (2*n_samples))

所以商就是样本数乘以二。

之所以多出2个因子，是不是为了让代价函数在反向传播时微分时，会取消1/2的因子，节省一次运算？

如果是这样，是否仍然建议这样做，它实际上是否提供了显着的性能改进？

Answer 1

这在数学中很方便，因为人们不需要一直带着 0.5。但在代码中，这并没有太大区别，因为这种变化使梯度(以及相应的可训练变量的更新)变大或变小两倍。由于更新乘以学习率，因此可以通过超参数的微小更改来撤销这个因子 2。我说“次要”，因为在模型选择过程中尝试对数尺度的学习率是很常见的:0.1、0.01、0.001 , ....

因此，无论损失函数使用什么特定公式，其影响都可以忽略不计，并且不会导致任何训练速度提升。选择合适的学习率更为重要。