neural-network - 用单层感知器解决异或

Question

我一直听说 XOR 问题不能通过单层感知器(不使用隐藏层)解决，因为它不是线性可分的。我知道没有可以分离类的线性函数。

但是，如果我们使用像 sin() 或 cos() 这样的非单调激活函数会怎样？我想这些类型的功能可能能够将它们分开。

Answer 1

是 ，具有非单调激活函数的单层神经网络可以 解决异或问题。更具体地说，周期函数将多次切割 XY 平面。甚至一个 Abs或 Gaussian激活函数将它切割两次。

自己试试:W1 = W2 = 100, Wb = -100, activation = exp(-(Wx)^2)

exp(-(100 * 0 + 100 * 0 - 100 * 1)^2) = ~0

exp(-(100 * 0 + 100 * 1 - 100 * 1)^2) = 1

exp(-(100 * 1 + 100 * 0 - 100 * 1)^2) = 1

exp(-(100 * 1 + 100 * 1 - 100 * 1)^2) = ~0

或者使用 abs 激活:W1 = -1, W2 = 1, Wb = 0(是的，即使没有偏差，您也可以解决它)

绝对(-1 * 0 + 1 * 0)= 0

绝对(-1 * 0 + 1 * 1)= 1

绝对(-1 * 1 + 1 * 0)= 1

绝对(-1 * 1 + 1 * 1)= 0

或正弦:W1 = W2 = -PI/2, Wb = -PI

sin(-PI/2 * 0 - PI/2 * 0 - PI * 1) = 0

sin(-PI/2 * 0 - PI/2 * 1 - PI * 1) = 1

sin(-PI/2 * 1 - PI/2 * 0 - PI * 1) = 1

sin(-PI/2 * 1 - PI/2 * 1 - PI * 1) = 0