machine-learning - 神经网络 - 为什么有这么多学习规则？

Question

我正在启动神经网络，目前主要关注 D. Kriesel's tutorial 。它从一开始就介绍了至少三种(不同的？)有关监督学习的学习规则(Hebbian、delta 规则、反向传播)。

我可能会遗漏一些东西，但如果目标只是最小化错误，为什么不直接对 Error(entire_set_of_weights) 应用梯度下降？

编辑:我必须承认这些答案仍然让我困惑。如果能够指出这些方法之间的实际差异以及它们与直接梯度下降之间的差异，将会很有帮助。

需要强调的是，这些学习规则似乎考虑了网络的分层结构。另一方面，找到整组权重的最小值 Error(W) 完全忽略了它。这是如何适应的？

Answer 1

一个问题是如何分配错误的“责任”。经典的 Delta 规则或 LMS 规则本质上是梯度下降。当您将 Delta 规则应用于多层网络时，您会得到反向传播。其他规则的创建是出于各种原因，包括对更快收敛的渴望、无监督学习、时间问题、被认为更接近生物学的模型等。

关于“为什么不只是梯度下降？”的具体问题梯度下降可能适用于某些问题，但许多问题都有局部最小值，天真的梯度下降会陷入其中。对此的最初 react 是添加一个“动量”项，以便您可以“推出”局部最小值;这几乎是经典的反向传播算法。