machine-learning - 为什么回归被视为机器学习的一部分？

Question

如果我们所说的机器学习 (ML) 是指任何从数据中学习的程序，那么，是的，回归可以说是 ML 的一部分。但机器学习还有其他几个方面，例如:基于某些性能指标迭代改进解决方案。而对于线性回归，有一个直接公式形式的封闭式解，使用它可以确定所有参数，并且不涉及迭代。但是还有其他版本的回归参数估计，它利用梯度下降，并且涉及多次迭代。这是否意味着回归参数估计的迭代版本是强制完成的，以将回归置于机器学习的保护之下？或者迭代版本具有直接公式所没有的一些优点？

Answer 1

我不会评论回归是否是机器学习的一部分(我真的不明白你的定义来自哪里)。但关于迭代方法的优点，请注意线性回归的封闭式解如下:

其中 X 是您的设计矩阵。请注意，矩阵求逆是一个 O(n^3) 运算，对于大 n 来说这是不可行的。这是使用 GD 的迭代方法的明显优势。