artificial-intelligence - 确定神经网络感知器的偏差？

Question

这是我了解神经网络开始的一件事，是我不太了解最初要设置“偏见”的原因吗？
我了解Perceptron会根据以下内容计算其输出：

P * W + b> 0

然后可以基于b = b + [G-O]计算学习模式，其中G是正确的输出，O是实际的输出（1或0）以计算新的偏差...但是初始值呢偏见.....我真的不明白它是如何计算出来的，或者除了“猜测”外还应该使用什么初始值，是否有任何公式可用于？

如果我在任何事情上都弄错了，请原谅，在我实现自己的（糟糕的）想法之前，我仍然会学习整个神经网络的想法。

学习率也一样。..我的意思是大多数书籍，对μ来说只是“挑选”。

Answer 1

简短的答案是，这取决于...

1）在大多数情况下（我相信），您可以像对待其他权重一样对待偏差（因此它可能会初始化为一些小的随机值），并且在训练网络时会得到更新。这个想法是所有的偏见和权重最终都将集中在一些有用的值上。

2）但是，您也可以手动设置权重（无需培训）以获得某些特殊行为：例如，您可以使用偏置使感知器表现得像逻辑门（假设二进制输入X1和X2为0或1，激活函数被缩放以提供0或1的输出）。

或门：W1 = 1，W2 = 1，偏置= 0

AND门：W1 = 1，W2 = 1，偏置= -1

您可以通过使用AND和OR作为多层网络的第一层来求解经典的XOR problem，并将它们馈入W1 = 3（来自“或”门），W2 = -2（来自“与”门）的第三感知器和Bias = -2，如下所示：



（注意：如果您的激活函数缩放为-1 / + 1，即SGN函数，则这些值将有所不同）



3）至于如何设置学习率，这也取决于（！），但我认为通常建议使用0.01。基本上，您希望系统尽快学习，但不要太快以至于权重无法正确收敛。