machine-learning - xavier_initializer() 如何知道激活？

Question

tf.contrib.layers.xavier_initializer() 如何知道激活函数？

初始化良好的标准偏差取决于所使用的非线性。正确的？那么 tf.contrib.layers.xavier_initializer() 如何知道发生了什么？

看下面的案例:

W = tf.get_variable("W", shape=[784, 256],
           initializer=tf.contrib.layers.xavier_initializer())

这个 W 对 X 执行一些操作，然后将结果传递给 tanh 或 relu 或 have you。现在，初始化器位于 W 中。 tensorflow 如何计算出激活值？或者我是否必须干预，知道我将要使用的激活？

查看 tf.contrib.layers.xavier_initializer 中的参数在那里我可以选择统一分布或正态分布。但这并不能解决问题，对吧？

Answer 1

The standard deviation to initialize well depends on the non-linearity used. Right?

没有。 Xavier 初始化不需要了解网络使用的非线性的任何信息。

事实上，Xavier 初始化只是权重的初始化，从平均值 = 0 且方差 = 1/<number_of_inputs> 的随机分布中选取值。 .

声明变量时，传递 shape范围。形状参数的第一个维度是 <number_of_inputs> .

也许您正在寻找专门为 ReLU e PReLU 定义的 He 初始化，但即使在这种情况下，变量初始化也不需要知道将遵循什么非线性