machine-learning - 多变量梯度下降的向量化

Question

我一直在做 Andrew Ng 机器学习类(class)中的作业 1。但我对他在向量化多变量梯度下降时所谈论的内容一直坚持我的理解。

他的方程如下:θ := θ - α*f

f 应该由 1/m*sum(h(xi)-yi)*Xi 创建，其中 i 是索引

现在这就是我感到困惑的地方，我知道 h(xi)-y(i) 可以重写为 theta*xi，其中 xi 表示一行特征元素 (1xn)，theta 表示一列 (nx1) 生成然后我从 y 的单个值中减去一个标量，然后将其乘以 Xi，其中 Xi 表示一列 1 个特征值？

这样会给我 mx1 向量？那么必须从 nx1 向量中减去哪个？

Xi是代表一行特征值吗？如果是这样，我该如何在不对所有这些行建立索引的情况下做到这一点？

我特别指的是这张图片:

Answer 1

我将用非矢量化实现来解释它

so that would give me mx1 vector? which then has to be subtracted from an nx1 vector?

是的，它会给你m x 1向量，但是要从n x 1向量中减去它，必须从m x 1向量中减去它> 也是矢量。怎么办？

I know that h(xi)-y(i) can be rewritten as theta*xi where xi represents a row of feature elements (1xn) and theta represents a column (nx1) producing a scalar

你实际上已经回答了，theta * xi 产生一个标量，所以当你有 m 个样本时，它会给你一个 m x 1 向量。如果您仔细观察方程，则 h(xi) - y(i) 的标量结果也乘以一个标量，即样本 i 的 x0 (x su i) sub 0) 因此它将给你一个标量结果，或者如果你有 m 个样本，则为 m x 1 向量。