python - 多层感知器异或，绘制误差(损失)图，收敛太快？

Question

我目前正在学习神经网络，并尝试训练 MLP 以使用 Python 中的反向传播来学习 XOR。该网络有两个隐藏层(使用 Sigmoid 激活)和一个输出层(也是 Sigmoid)。
网络(大约 20,000 个 epoch，学习率为 0.1)输出接近原始类标签的数字:
预测:0.11428432952745145
原始类输出为:0
预测:0.8230114358069576
原始类输出为:1
预测:0.8229532575410421
原始类输出为:1
预测:0.23349671680470516
原始类输出为:0
当我绘制错误(每个时期)时，我的图表显示急剧下降，然后是轻微的“颠簸”，我的印象是错误会逐渐减少:
Errors (summed) vs Epoch
这会被归类为收敛吗？我试图调整学习率，但没有运气。
谢谢!

Answer 1

不一定，NN 将解决改变权重的优化问题。这不能保证只会下降，也许梯度下降的一些选择是选择“更差”的值。
我建议尝试更多的时代，最终它会收敛。如果你想发布你的代码以获得更具体的提示。