machine-learning - 特征越多线性模型越完美

Question

我需要更多地了解特征数量和线性模型回归之间的关系，基于 Andreas C. Müller 和 Sarah Guido 所著的《Introduction to Machine Learning with Python》一书第 47 页上的这段:

“对于具有许多特征的数据集，线性模型可能非常强大。特别是，如果您的特征多于训练数据点，则任何目标 y可以(在训练集上)完美建模为线性函数”

如何用线性代数来解释它？

谢谢

Answer 1

我可以尝试给你一个直观的答案。

假设您有一个由二维单个数据点组成的训练数据集。在这种情况下，我们有 n_data = 1 (数据点的数量)，和 n_features = 2 ( n_features > n_data )。训练数据集可以通过一维线性函数完美建模y = a0 .

类似地，如果您具有三个特征(即三个维度)和两个数据点(因此 n_features = 3 > n_data = 2 )，则这两个点始终可以通过 y = a0 + a1 x1 形式的 2D 线建模。 .

在四个维度(四个特征)中，三个点始终可以通过(超)平面建模，该(超)平面由 y = a0 + a1x1 + a2x2 形式的线性方程定义。 .

一般来说，超平面(定义为维数少于其周围空间维数的任何平面)始终可以用线性公式 a1*x1 + a2*x2 + a3*x3 + ... + an*xn = b 来定义。因此，如果点的数量小于维度的数量，则总是可以找到超平面，因此如果样本的数量小于特征的数量(即对应于空间的尺寸)。