machine-learning - 关于神经网络权重向量的一般查询

Question

我试图更好地理解机器学习原理，但我有点困惑于一切如何联系在一起。

例如，我的任务是对一组三种模式进行分类。每个模式都有一个与之关联的目标值(为简单起见，例如 1、0 和 -1)。我把算法通过了LMS算法。

我计算了输出和错误:

a = w(n) * x(n)    
e(n) = d(n) - w(n)x(n)

然后我重新计算了权重向量:

w(n+1) = w(n) + alpha*x(n)*e(n)

我对所有三种模式都这样做了。我迭代了权重向量的重新计算大约 30 次。

现在，我该如何处理我创建的这个新权重向量？我是否将此权重向量应用于一组新的“测试数据”？

“收敛”权重向量现在是否成为尝试对任何未见数据进行分类的权重向量？

有了这个权重向量，如何将其应用到新的数据集？梯度下降、均方误差和收敛在哪里适合这个？

Answer 1

正如 Matias 提到的，这不是一个神经网络 --- LMS(我假设在这里代表最小均方)与线性回归等线性方法更密切相关。相比之下，神经网络模型类通常由多个节点排列成电路形式的模型组成，将输入数据经过多层变换，从而最终结果通常是输入的非常复杂的非线性函数。

话虽如此:您的更新步骤需要在某处涉及梯度才能发挥作用。你写的

w(n+1) = w(n) + alpha*x(n)*e(n)

我将其重写为

new_weight = curr_weight + learning_rate * gradient

哪里

gradient = X * transpose(e)

误差向量和输入数据向量的点积。

至于为什么我决定称之为“渐变”，请参阅derivation这个更新规则的——更新规则来自于由均方误差给出的成本函数的梯度下降。经过“足够”的迭代后，您拥有的权重将是最小化均方误差的权重，因此得名。

Now, what do I do with this new weight vector that I have created? Do I apply this weight vector to a new set of "testing data"? Does the "converged" weight vector now become the weight vector to try and classify any unseen data?

是的，完全正确!让我们将最终的权重集称为 final_weights 并假设它有 k 条目，其中 k 必须是每个数据点的维度(因此您的输入数据可能是一个 n×k 矩阵，其中每行代表一个 k 维数据点，以便计算出矩阵维度)。

然后您可以使用 X ~ 1-by-k 对未见过的数据点生成预测

 prediction = final_weights * X

和预测将是一个浮点值。 (您说您想要 0,+1,-1 作为您的目标值，但是您将需要不同的策略，具体取决于这些是无序标签还是有序值；即，如果它们代表温度，您可能会幸运地采用预测，但如果它们代表无序类别，您可能需要训练三个单独的模型，每个模型都指示落入特定类别的可能性。如果这看起来不清楚，请发表评论，我将添加编辑。 )

如果你真的愿意，你可以在上面使用任意一组权重；情况就是这样，您将使用完全由零或完全由随机数组成的权重向量生成糟糕的预测。训练过程(即所有这些迭代更新)是为了确保您拥有一个中等的权重向量，即根据过去的训练数据生成相当好的预测的权重向量。

With this weight vector, how do I apply it to a new data set?

使用上面的预测规则将其应用于新的、未见过的数据，一次一个数据点。

Where does gradient descent, mean-square errors, and convergence fit into this?

梯度下降就是通过上面提到的更新规则来实现的。考虑成本函数如何

 Cost(weights) := mean-square-error(weights)

是您所使用的权重的函数；你想最小化成本，所以你使用梯度下降来找到实现这一点的权重。我们说权重“收敛”，因为当您处于最佳权重集时，即使您继续迭代，它们也会停止更新。这样做的原因是错误会减少到零，当这种情况发生时，你的更新规则将是

new_weights = old_weights + (learning_rate * 0)

希望这是有道理的!