artificial-intelligence - 权重初始化

Question

我计划将 Nguyen-Widrow 算法用于具有 的 NN多个隐藏层 .在研究的过程中，我发现了很多歧义，我想澄清一下。

以下是 Nguyen-Widrow 算法的伪代码

      Initialize all weight of hidden layers with random values
      For each hidden layer{
          beta = 0.7 * Math.pow(hiddenNeurons, 1.0 / number of inputs);
          For each synapse{
             For each weight{
              Adjust weight by dividing by norm of weight for neuron and * multiplying by beta value
            }
          } 
      }

只是想澄清 hiddenNeurons 的值是特定隐藏层的大小，还是网络中所有隐藏层的大小。 我通过查看各种来源混淆了。

换句话说，如果我有一个网络 (3-2-2-2-3)(索引 0 是输入层，索引 4 是输出层)，那么 hiddenNeurons 的值会是:

NumberOfNeuronsInLayer(1) + NumberOfNeuronsInLayer(2) + NumberOfNeuronsInLaer(3)

要不就

NumberOfNeuronsInLayer(i) , where i is the current Layer I am at

编辑:

那么，hiddenNeurons 值将是当前隐藏层的大小，而输入值将是前一个隐藏层的大小？

Answer 1

Nguyen-Widrow 初始化算法如下:

用(范围)随机值初始化隐藏层的所有权重

对于每个隐藏层
2.1 计算beta值，0.7 * Nth(#neurons of input layer) root of
#当前层的神经元
2.2 对于每个突触
2.1.1 每个重量
2.1.2 除以神经元的权重范数调整权重
乘以 beta 值

Encog Java Framework