machine-learning - 神经网络 : Why does the perceptron rule only work for linearly separable data?

Question

我以前asked用于线性可分离数据的解释。仍在阅读 Mitchell 的机器学习书籍，我无法理解为什么感知器规则仅适用于线性可分离数据？

Mitchell 定义感知器如下:

也就是说，如果加权输入的总和超过某个阈值，则 y 为 1 或 -1。

现在的问题是确定一个权重向量，使感知器为每个给定的训练示例生成正确的输出(1 或 -1)。实现这一目标的一种方法是通过感知器规则:

One way to learn an acceptable weight vector is to begin with random weights, then iteratively apply the perceptron to each training example, modify- ing the perceptron weights whenever it misclassifies an example. This process is repeated, iterating through the training examples as many times as needed until the perceptron classifies all training examples correctly. Weights are modified at each step according to the perceptron training rule, which revises the weight wi associated with input xi according to the rule:

所以，我的问题是:为什么这只适用于线性可分离数据？谢谢。

Answer 1

因为 w 和 x 的点积是 x 的线性组合，事实上，您将数据拆分为使用超平面的 2 个类 a_1 x_1 + … + a_n x_n > 0

考虑一个 2D 示例:X = (x, y) 和 W = (a, b)，然后 X * W = a*x + b *y。如果 sgn 的参数大于 0，则返回 1，也就是说，对于类 #1，您有 a*x + b*y > 0，这相当于 y > -a/b x (假设 b != 0)。该方程是线性，并将 2D 平面分为两部分。