python-3.x - TensorFlow:实现均方误差

Question

我目前正在学习 TensorFlow，并遇到了 this notebook .

我对如何实现均方误差成本函数有疑问:

import tensorflow as tf 
import numpy as np 

predicted = np.array([1,2,3])
Y = np.array([4,5,6])
num_instances = predicted.shape[0]

cost = tf.reduce_sum(tf.pow(predicted-Y, 2))/(2*num_instances)
cost2 = tf.reduce_mean(tf.square(predicted - Y))

with tf.Session() as sess:
  print(sess.run(cost))
  print(sess.run(cost2))

我不明白为什么它必须将第一个成本函数的分母乘以2。我从MSE的不同实现中得到了不同的答案，成本产生4.5，而成本2产生9。遵循均方公式错误，我应该得到一个值 9。但是第一个成本函数是我正在尝试学习的 python 笔记本中实现的函数。

Answer 1

cost 和 cost2 之间的差异恰好是 2*num_instances 中的 2。基本上，

cost = tf.reduce_sum(tf.pow(predicted-Y, 2))/(2*num_instances)
cost2 = tf.reduce_sum(tf.pow(predicted-Y, 2))/(num_instances)

标量2对学习影响不大，相当于将学习率乘以2。请注意，无论您使用什么公式和网络拓扑，您仍然需要选择合理的超参数，包括学习率。

您可以尝试检查两个损失函数的收敛性，我怀疑它们的性能相同。这意味着两个公式都很好，只是第二个公式更容易实现。