neural-network - 神经网络输出分组 0.5？

Question

我试图编写一个神经网络系统，但即使运行了简单的 AND/OR/NOR 类型的问题，输出似乎也集中在 0.5(偏差为 -1)和 0.7(偏差为 1)左右。
它看起来并不完全“错误”...... AND 模式中的 1,1 似乎比其他模式高，OR 中的 0,0 看起来更低，但它们仍然全部分组，因此值得商榷。

我想知道 a) 我是否犯了一些明显的错误或 b) 是否有任何关于调试神经网络的建议......因为你不能总是准确地追溯答案来自哪里......

谢谢!

麦克风

Answer 1

a) 没有更多信息就无法判断。

对于 b) 我发现的最好方法是为我的网络架构的小型测试版本预先计算一组向量和权重，并使用一些调试代码将网络状态转储到 csv 文件中，以便我可以查看在 Excel 中。

对于单个模式和已知的网络初始状态，您的网络的前向(和后向)传递应该完全可以手动计算，因此拥有一个候选模式是个好主意，或者如果您能忍受手动完成，则可以使用一对为您的测试枚举。它实际上并不像听起来那么糟糕。

这样做有一个额外的好处，它可以加强你对算法工作原理的理解，并会让你从不同的角度再次检查你的实现。

祝你好运。

附言无耻插上反向传播博客条目 here ...