machine-learning - 为什么神经网络中权重向量与决策平面正交

Question

我是神经网络的初学者。我正在学习感知器。我的问题是为什么权重向量垂直于决策边界(超平面)？我引用了很多书，但都提到权重向量垂直于决策边界，但没有人说为什么？

有人可以给我解释或引用一本书吗？

Answer 1

权重只是定义分离平面的系数。目前，忘掉神经元，只考虑 N 维平面的几何定义:

w1*x1 + w2*x2 + ... + wN*xN - w0 = 0

您也可以将其视为点积:

w*x - w0 = 0

其中 w 和 x 都是长度为 N 的向量。该方程适用于平面上的所有点。回想一下，我们可以将上面的方程乘以一个常数，它仍然成立，因此我们可以定义常数，使得向量 w 具有单位长度。现在，拿出一张纸并绘制您的 x-y 轴(上述方程中的 x1 和 x2)。接下来，在原点附近的某处画一条线(2D 中的平面)。 w0 只是从原点到平面的垂直距离，而 w 是从原点沿该垂线指向的单位向量。如果您现在从原点到平面上的任意点绘制一个向量，则该向量与单位向量 w 的点积将始终等于 w0，因此等式上面成立，对吗？这只是平面的几何定义:定义垂直于平面的单位向量 (w) 以及从原点到平面的距离 (w0)。

现在我们的神经元只是代表如上所述的同一平面，但我们只是对变量的描述略有不同。我们将 x 的分量称为“输入”，将 w 的分量称为“权重”，将距离称为 w0 偏见。这就是全部内容。

稍微超出你的实际问题，我们并不真正关心飞机上的点。我们确实想知道一个点落在平面的哪一侧。虽然 w*x - w0 在平面上恰好为零，但对于平面一侧的点，它具有正值，对于另一侧的点，它具有负值。这就是神经元激活函数发挥作用的地方，但这超出了您的实际问题。