tensorflow - 归一化为 [0,1] 与 [-1,1]

Question

我已经阅读了一些关于使用神经网络进行关键点检测的教程。我注意到对于输入(图像)，除以 255(归一化为 [0,1]，因为值介于 0 和 255 之间)是很常见的。但是对于目标 (X/Y) 坐标，我注意到标准化为 [-1,1] 更为常见。这种差异的任何原因。

示例:http://danielnouri.org/notes/2014/12/17/using-convolutional-neural-nets-to-detect-facial-keypoints-tutorial/

X = np.vstack(df['Image'].values) / 255.  # scale pixel values to [0, 1]
y = (y - 48) / 48  # scale target coordinates to [-1, 1]

Answer 1

根据我的说法，从技术上讲，您如何标准化这些值应该没有太大区别。

但是这些事情在 ML 技术中很重要。

将像素范围从 (0 到 255 ) 归一化到 (0 到 1) 会使收敛速度更快。在这里，您也可以在 -1 和 1 之间进行操作。我在很多问题中都使用过这个范围。并且没有这样的问题。

但是对于输出来说，这有点棘手。由于您使用的激活函数，使用范围 0 到 1 并不是一个更好的主意。 ReLU 是 max(0, x) 当您提供负值时效果更好。这就是 relu 的全部意义所在。此外，tanh 的范围值介于 -1 和 1 之间。您剩下的唯一选择是使用与 relu 和 tanh 函数相比性能不佳的 sigmoid 函数。 sigmoid 的问题是梯度消失，并且它不是以零为中心的，这会为权重提供一些锯齿形的梯度更新。你可以找找here .