machine-learning - 有 MLP 局部最小值的具体例子吗？

Question

我正在学习机器学习，我看到一些 Material 表明MLP(多层感知器)可能会陷入局部最小值。我想通过做一些实验来学习，但我在网上搜索了具体的例子，但找不到任何例子。谁能告诉我在哪里可以找到可以由我复制的示例？

Answer 1

您可以使用随机梯度下降通过反向传播简单地构建 XOR 神经网络。为此实验生成数据集的一种非常简单的方法是:

X = [[randint(0, 1), randint(0, 1)] for _ in range(1000)]
y = []
for a, b in X:
    if a + b == 1:
        y.append([0, 1])
    else:
        y.append([1, 0])
X = np.array(X)
y = np.array(y)

您可能会发现这篇 SO 帖子 ( XOR neural network error stops decreasing during training ) 有帮助，因为它与您的查询相关。

其他:如果您熟悉torch ，那么你可以看看这个github repository一个全面的例子。您可以按照 here 的描述为您的实验生成数据集。在 torch 中。如果你对torch不熟悉但有兴趣学习，可以考虑看一下这个post .

有用的教程:(1)The XOR problem and solution