machine-learning - 具有多个输出神经元的神经网络中的反向传播

Question

我目前正在学习本教程 http://stevenmiller888.github.io/mind-how-to-build-a-neural-network/关于构建神经网络。但我对反向传播部分感到困惑。如果有多个输出神经元我该怎么办？因为这样可能会有多个输出总和误差范围

Delta 输出总和 = S'(sum) *(输出总和误差范围)
增量输出总和 = S'(1.235) * (-0.77)
增量输出总和 = -0.13439890643886018

Answer 1

神经网络的输出通常是一个向量(多个神经元)。一般来说，您应该做的是定义一个损失函数，将输出向量映射到实数。例如，MSE(均方误差)是一个简单的选择，它仅使用第二范数(输出向量和标签向量之间的欧几里德距离)作为损失值。然后你可以像以前一样在反向传播过程中取导数。现在唯一的区别是您现在应该对向量函数(多元函数)求偏导数。