math - Coursera 机器学习 : Gradient Descent vectorization

Question

我在理解如何对 Coursera 上提供的机器学习类(class)中的函数进行矢量化时遇到问题。

在类(class)中，Andrew Ng 解释了假设可以向量化为 theta 乘以 x 的转置:

H(x) = theta' * X

我的第一个问题是当我在练习中实现这一点时。为什么纸上的矢量化是 theta 的转置乘以 x，而 Octave 上的矢量化是 X 乘以 theta？

theta'*X % leads to errors while multiplying

我的第二个问题紧接着第一个问题。

当我想要向量化梯度下降函数的总和时:

sum((h(x)-y)*x))

我不太明白矢量化后如何实现这一点:

X'*(h(x)-y)

谁能解释一下吗？

Answer 1

这是一个品味问题。通常的约定是进行矩阵向量乘法，即您喜欢的。您可以通过调换所有内容从一种模式切换到另一种模式。也就是说，如果您的乘法 X*theta 有效，那么转置公式就是 theta。” * X.'

在X*theta中，X的每一行都包含一个样本点的数据(核函数值)。

在theta.'*X约定中，X的列包含样本点数据。

因此它始终取决于上下文，什么定义为行向量，什么定义为列向量，以及它们如何在更大的对象或操作中组合在一起。