machine-learning - 大多数机器学习技术是否源自线性回归和 kNN？

Question

阅读时Elements of Statistical Learning ，我看到了这句话:

A large subset of the most popular techniques in use today are variants of these two simple procedures. In fact 1-nearest-neighbor, the simplest of all, captures a large percentage of the market for low-dimensional problems.

它引用了线性回归和 k 最近邻算法。我想知道这句话的准确性如何。更具体地说，当今使用的哪些流行的机器学习方法不依赖于这两种简单方法得出的假设和特征？

Answer 1

这是您问题的补充——一些源自 KNN 和线性回归的方法。

回归技术

• LASSO、岭回归和弹性网络是带有正则化惩罚的线性回归。

• 局部线性回归使用局部线性模型构建非线性估计器(它是线性回归和 K 最近邻的组合)。

• 非线性回归技术可推广到对输入不存在简单线性依赖性但仍存在参数模型的情况。

• 泊松回归将线性回归推广到估计数量为计数的情况(即它不能为负数，并且始终为整数)

• 分层线性模型，例如，A 用于预测 B，而 B 又用于预测 C。

• 最小绝对偏差试图最小化 L1 范数，而不是线性回归中的 L2 范数。

• 各种稳健回归技术试图在面对异常值时提供稳健性。

分类技术

• 逻辑回归和概率回归属于广义线性模型，因此与线性回归相关。

• 类似地，当有两个以上类别时，它们可以推广到多项式概率和多项式 Logit 模型。

• 某些神经网络可以被视为分层的多项逻辑回归。

• 在某些情况下，支持向量机可以被视为具有二元目标的最小二乘回归，在比原始数据占据的空间更高维度的空间中运行。

并非受 KNN 或 LR 启发的技术

一些明显不受 k 最近邻或线性回归启发的技术包括

• 决策树(以及随机森林，决策树的发展)。

• 朴素贝叶斯(适用于概率分布)

• 马尔可夫链、隐马尔可夫模型、卡尔曼滤波器和粒子滤波器模型，它们对最近邻或线性依赖不易捕获的问题施加了额外的结构。