neural-network - 交叉熵误差函数在普通反向传播算法中是如何工作的？

Question

我正在使用 C++ 开发前馈反向传播网络，但似乎无法使其正常工作。我所基于的网络正在使用交叉熵误差函数。但是，我对它不是很熟悉，即使我正在尝试查找它，我仍然不确定。有时这似乎很容易，有时却很难。该网络将解决多项分类问题，据我了解，交叉熵误差函数适用于这些情况。有人知道它是如何工作的吗？

Answer 1

啊是的，很好的反向传播。它的乐趣在于，你使用什么错误函数并不重要(在实现方面)，只要它是可区分的。一旦您知道如何计算每个输出单元的交叉熵(请参阅 wiki article)，您只需对该函数求偏导数即可找到隐藏层的权重，并再次找到输入层的权重。

但是，如果您的问题不是关于实现，而是关于培训困难，那么您的工作就已经完成了。不同的误差函数擅长不同的事情(最好根据误差函数的定义进行推理)，并且这个问题因学习率等其他参数而变得复杂。

希望对您有所帮助，如果您需要任何其他信息，请告诉我；你的问题有点含糊...