c - 神经网络反向传播问题

Question

在阅读了很多其他人的神经网络代码后，我确信我的代码有些地方不对。它有效，我可以训练一个网络，只是为了训练隐藏层中的下一个感知器，我必须训练最后一个感知器，难道我不能并行训练隐藏层中的所有单元吗？

下面是计算隐藏层误差的代码:

    for(int i=n->numOfPerceptronLayers-2;i>=1;i--) { // for all hidden layers
        float sum = 0.0; // <- This here is the problem
        for(int j=0;j<n->perceptronLayers[i].numOfPerceptrons;j++) { // For all the units in the current hidden layer
            for(int k=0;k<n->perceptronLayers[i].perceptrons[j].numOfConnections;k++) { // Loop through the current units connections to the previous layer (output layer)
                sum += n->perceptronLayers[i+1].perceptrons[k].error * n->perceptronLayers[i+1].perceptrons[k].weights[j];
            }
            n->perceptronLayers[i].perceptrons[j].error = n->perceptronLayers[i].perceptrons[j].output * (1.0 - n->perceptronLayers[i].perceptrons[j].output) * sum;
        }
    }

应该是这样的(但这行不通):

for(int i=n->numOfPerceptronLayers-2;i>=1;i--) { // for all hidden layers 
    for(int j=0;j<n->perceptronLayers[i].numOfPerceptrons;j++) { // For all the units in the current hidden layer
        float sum = 0.0;
        for(int k=0;k<n->perceptronLayers[i].perceptrons[j].numOfConnections;k++) { // Loop through the current units connections to the previous layer (output layer)
                sum += n->perceptronLayers[i+1].perceptrons[k].error * n->perceptronLayers[i+1].perceptrons[k].weights[j];
        }
        n->perceptronLayers[i].perceptrons[j].error = n->perceptronLayers[i].perceptrons[j].output * (1.0 - n->perceptronLayers[i].perceptrons[j].output) * sum;
    }
}

为什么必须为整个层而不是单个感知器声明 sum 变量？

Answer 1

除非我遗漏了什么，否则我相信第一个 代码段是错误的，而后一段是正确的。

在第一个代码段中，您对整个层使用单个“sum”变量会导致错误随着每个后续感知器的处理而累积。因此，感知器 j 总是比感知器 j-1 有更多的误差。

后一个代码修复了这个问题，但你说它是不起作用的那个。唯一可靠的结论是，真正的问题出在代码的其他地方，因为第一个代码段不应该工作。

旁白:您确实应该能够并行训练一个层的所有感知器，因为每个感知器只依赖于它的前向连接来分摊错误(在标准前馈反向传播中)。