machine-learning - XOR 神经网络所需的最少迭代次数

Question

标准反向传播解决异或问题所需的训练集的最小暴露次数是多少？另一种类型的神经网络能更快地解决这个问题吗？

最佳设置是什么(隐藏层节点数量、学习率)？

谢谢!

Answer 1

如果使用的话，这取决于网络布局、学习率和正则化参数。

您的网络初始权重也可能会很幸运或不幸，因为在反向传播网络中，它们应该随机初始化。然而，意外开始接近局部最小值的可能性很小。

对于 XOR 函数，具有 2 个节点的单个隐藏层就足够了。

不需要偏置节点。也不应该需要正则化，因为过度拟合通常不是 XOR 函数的问题。
关于学习率，我认为 0.05 就很好了，但我没有确凿的证据证明这一点。进行一些实验，看看是否可以找到更好的值。

Coursera“机器学习”类(class)非常直观地讨论了该主题。您可能想查看他们 Preview 上的视频地点。在该页面上查找“神经网络:学习(第 5 周)”部分。