python - OR 函数的感知器不收敛

Question

我正在实现一个简单的感知器，用于在 python 中对 OR 函数进行分类。但是错误不会发生。任何建议将不胜感激。

def activation_function(x):
    if x<0:
        return 0
    else:
        return 1

training_set = [((0, 0), 0), ((0, 1), 1), ((1, 0), 1), ((1, 1), 1)]

w = random.rand(2)
errors = [] 
eta = .2
n = 100

for i in range(n):
    for x, y in training_set:
        u = sum(x*w)        
        error = y - activation_function(u)       
        errors.append(error) 

        for index, value in enumerate(x):
            w[index] += eta * error * value

ylim([-1,1]) 
plot(errors)

错误图:

Answer 1

我想说你错过了偏见......

如果添加它，它会完美地收敛。

import numpy as np
import matplotlib.pyplot as py

np.random.seed(42)
w = np.random.rand(2)
b = 0
errors = [] 
eta = .2
n = 10

for i in range(n):
    for x, y in training_set:
        u = np.sum(x*w)+b     
        error = y - activation_function(u)       
        errors.append(error) 

        for index, value in enumerate(x):
            #print(index, " ", value)
            w[index] += eta * error * value
            b += eta*error

请注意，我以与您不同的方式导入了库，并使用了一些更合理的名称，以便我知道哪个函数来自哪里...让我知道这是否对您有帮助...

顺便说一句，这是分类的结果。我希望这些颜色有意义……红色和蓝色有点华丽，但你明白了。请注意，您可以找到此问题的无限解决方案。因此，如果您更改随机种子，您将得到一条不同的线，它将线性分隔您的点。

此外，当您的线穿过 (0,0) 时，您的算法不会收敛，尽管您的预测是错误的，但自该特定点的 value=0 起，权重将不会更新。所以问题是你的更新不会做任何事情。这就是你的错误波动的原因。

编辑 根据要求，我编写了一个小教程(Jupyter 笔记本)，其中包含一些有关如何绘制分类器的决策边界的示例。你可以在github上找到它

github存储库:https://github.com/michelucci/python-Utils

希望有用。

编辑2:如果你想要快速且非常肮脏的版本(我用于红色和蓝色情节的版本)，这里是代码

lim = 3.0
X1 = [x1 for x1 in np.arange(-lim,lim,0.1)]
X2 = [x2 for x2 in np.arange(-lim,lim,0.1)]
XX = [(x1,x2) for x1 in np.arange(-lim,lim,0.1) for x2 in np.arange(-lim,lim,0.1)]
Xcolor = ["blue" if np.sum(w[0]*x1+w[1]*x2)+b > 0  else "red" for x1 in X1 for x2 in X2]
x,y = zip(*XX)
py.scatter(x,y, c = Xcolor)
py.scatter(0,0, c = "black")
py.scatter(1,0, c = "white")
py.scatter(0,1, c = "white")
py.scatter(1,1, c = "white")
py.show()