machine-learning - 感知器算法/线性回归的基本直觉

Question

我正在研究神经网络，我遇到了以下xorcise(这是一个笑话!)问题。

我问我的 friend 是否需要实现感知器算法来解决这个问题，他说“不，只要考虑一下”。嗯，我想了想，但我的小猴脑只能想出以下几点:

我 friend 的话让我觉得这是一个棘手的问题，到目前为止我们讨论的唯一的技巧是感知器无法执行异或函数。

这就是这个问题的目的吗？

如何解决这个问题？...

A simple Perzeptron with two inputs x₁, x₂,  
BIAS, and transfer function y = f(z) = sgn(z), 
separates the two dimensional input space into 
two parts with help of a line g. 

Calculate for this Perzeptron the weights 
w1, w2, wb, so that the line separates 
the given 6 patterns (pX1, pX2; Py) into 
two classes:

1X = (0,  0;  -1), 
2X = (2, -2; +1), 
3X = (7 + ε, 3 - ε; +1), 
4X = (7  -  ε, 3 + ε; -1), 
5X = (0, -2 - ε; +1), 
6X = (0 - ε, -2; -1), 


Remark: 0 < ε << 1. 

Answer 1

如果将这些点绘制成图表，您会发现所有 -1 都位于左上角，所有 +1 都位于右下角。您可以画一条与 (0, -2) 和 (7,3) 相交的线，得到表达式:

y = 5x/7 - 2

这足以跳过任何算法的运行。

预测 +1 出现的直线方程由下式给出:

y < 5x/7 - 2 

上面的线将二维空间一分为二。阴影区域位于线条下方，线条向上并向右延伸。因此，对于任意点，您只需弄清楚它是否在阴影区域中(正预测 = +1)。

假设 (pX1, pX2) = (35, 100),

1) 一种方法是将 pX1 代入公式(对于 x' = pX1)，以找到直线上最接近的部分(其中 y=5x/7-2):

y' = 5(35)/7 - 2
y' = 23

由于线上的点是 (35, 23) 而我们感兴趣的点是 (35, 100)，因此它在线上方。换句话说，pX2 不 < 23，预测返回 -1。

2) 绘制 y'=100，因此

100 = 5x/7-2 
x = 142.8

线点=(142.8, 100)，你的点(35, 100)，我们的点在线点的左边，仍然落在阴影区域之外。

3)您甚至可以将其绘制成图表并目视检查它是否位于阴影区域

重点是必须进行一些计算来检查它是 IN 还是 OUT。这就是线性回归的要点。对于机器来说，计算出来应该非常简单，因为你只是计算一件事。一旦有了公式，预测应该会很快。最困难的部分是确定直线的公式，我们已经通过绘制点图并看到明显的解决方案来完成此操作。如果您使用机器学习，在这种情况下会花费更长的时间。