c++ - 我的前馈网络为我提供了一个平均我真正想要的输出

Question

我正在从头开始构建前馈网络，但遇到以下问题:我有 4 个入口神经元和 4 个导出神经元，输入是 [x;x;x;x]x 为 0 或 1 时，输出必须与输入相同。

在训练了超过 100 万个条目和 1000 个批处理后，我得到的结果始终在 [0.5;0.5;0.5;0.5] 附近。。

我尝试更改纪元数和条目数。

因为 0.5 是 0 和 1 的平均值，我认为它们一定是我问题的逻辑答案

编辑:我通过调试体重变化解决了这个问题，

Answer 1

造成这种行为的原因有很多。最常见的是你的 nn 容量太小。 NN 模型想要最小化成本函数，如果不可能调整到建模函数形状，那么 nn 将平均函数，这是这种优化中的正常和最佳策略。第二种解释可能是您的数据内部没有任何模式。随机输入迫使 NN 返回分布均值。

我建议您通过添加具有额外神经元的隐藏层(即 50、100、200 个神经元隐藏层)来增加网络的能力，并观察会发生什么。如果由于梯度消失问题而不使用“relu”激活函数，请小心添加多个隐藏层。