machine-learning - α-LMS算法挫折问题

Question

我正在使用 α-LMS 算法为 MNIST 数据集制作分类器。

我仅在预测输出与所需输出不匹配时更新权重，权重更新方式如下:

我希望每次迭代时残差误差都会下降(并且准确度会上升)(我不应该吗？)。

虽然整体准确度似乎在上升，但在某些迭代中算法会出现回退。

我需要知道该算法中发生挫折是否正常，以及为什么会这样？

Answer 1

如果数据可以用公式表示，那么找到该公式就是可行的。当需要算法(没有公式)时，收敛速度和准确性很大程度上取决于数据。如果您能够使用多个数据集，您将看到不同的图表。