machine-learning - 如何标准化不同激活函数的训练数据？

Question

我正在训练全连接神经网络来对 MNIST 数据集进行分类。输入数据是方形黑白图像，像素值为 [0, 255]。

我读到，要使用 sigmoid() 激活器，需要将输入标准化为 [0, 1] (sigmoid 的范围)。

如何标准化 tanh() 激活器的输入数据？我是否需要将其重新调整为 [-1, 1] (tanh 范围)，或者仍然可以在 [0, 1] 中。

哪种方法更好，为什么？一般指导是什么？

Answer 1

您不必对不同的激活函数使用不同的标准化。事实上，您不必将输入规范化为 sigmoid 的 [0, 1] 形式。 sigmoid [0, 1] 的范围就是其输出的范围。它的输入(域)范围实际上是从负无穷大到正无穷大。

更重要的是，您的输入不会直接进入 sigmoid 函数，因此图像输入的范围与 sigmoid 获得的输入范围不同。中间会有一些线性层来改变数据范围。

一般指导是将您的输入标准化为 [-1, 1]。这与激活函数无关，而是反向传播的通用有效措施。请参阅Effective BackProp .