algorithm - Adaboost 和前向阶段相加建模

Question

虽然最初不是这样构想的，但标准的Adaboost算法相当于使用指数损失函数进行前向阶段加性模型估计。也就是说，给定一些弱分类器 c1,...,cM 和样本点 x1,...,xN 算法得出的权重:

1. 设置 F_0(x) = 0
2. 对于 m = 1 到 M: 将 (w_m, f_m ) = arg min over (w, c_i) of (Loss function(y_i, F_m-1(x_i) + w * c_i(x_i)) 应用于所有 x_i)
3. 设置 F_m(x) = F_m-1(x) + w_m * f_m(x)

强分类器是输出，F_M(x)。使这个强学习器与Adaboost输出相同的损失函数是

L(y,f(x)) = exp(-y*f(x))

对于在 {-1,1} 中取值的分类器。 Hastie、Tibshirani、Friedman 在统计学习要素，第 10.4 节中对此进行了全部解释。

我的问题与前向阶段回归有关。这是一个贪心算法，一旦 w_i 被估计，它是固定的，然后找到权重 w_i+1 等等。这似乎是真正设计用于处理“独立”的弱分类器，如树桩分类器或树分类器仅限于互斥的自变量(特征)，因此拟合分类器后的剩余部分不再由该分类器解释。

换句话说，为了将一组函数拟合到给定的目标函数，我不会拟合第一个函数，固定那个系数，然后找到第二个的最佳系数，保持第一个常数，等等......除非我知道这些功能是独立的。但这就是算法所做的，或多或少。

与(根据我的经验)Adaboost 与更全面的分类器(如 SVM 或线性模型)相比，这是否解释了 Adaboost 与树桩学习器或决策树的成功？有人可以提供引用吗？ - 我没有看到文献中讨论过这个方面。谢谢。

Answer 1

我想您可能有点困惑，或者使用了我不熟悉的术语。 AdaBoost 或更一般的阶段加法模型中没有任何东西是独立的或相互排斥的，也没有被设计成相互排斥的。

Does this explain the success of Adaboost with stump learners or decision trees compared to (from my experience) Adaboost with more comprehensive classifiers like SVM, or a linear model?

没有。产生分类器集合的方法可能很强大，它们的力量主要来自于减少由基础模型的方差引起的错误的能力。 AdaBoost 和其他方法也可以减少偏差，但减少方差引起的误差要容易得多。

出于这个原因，我们使用决策树，因为我们可以通过改变树的最大深度来控制树上的偏差/方差水平。这让生活变得轻松，但它们并不是 boosting 的全部目的(例如:在高维空间中 boosting 是相当困难的，在这种情况下树是可怕的)。

我们通常不在提升中使用线性模型，因为它们根本不擅长。我们可以生成“简单”的数据集，这些数据集不会被线性模型很好地收敛，而无需过多思考(考虑另一个环中的每个类大小相等的环，以及一个切割内环(因此外环)的基础学习器一半)。低决策树桩通常更好，因为它具有非线性，可以更快地适应数据。

我们避免使用 SVM 等复杂模型，因为它们需要很长时间才能训练。无论您选择哪种基本模型，AdaBoost 都会朝着相同类型的解决方案运行(它会尝试最大化 L1 余量，而 SVM 会最大化 L2 余量)。如果你必须提升 1000 棵树或 500 个 SVM，提升树的速度可能会快得多。这甚至没有进入您必须为每个添加的每个模型的每个 SVM 执行的所有参数搜索。简直太费时间了。但是，在某些情况下这可以很好地工作 - here is a face detection case .

还有预测时间的问题。如果您需要提升 100 或 1000 个模型，它会将预测时间增加 2 或 3 个数量级。 SMV 已经不是最快的预测器，这只会让情况变得更糟。

更多的细节是从数学中提取的，然后用英语讨论。如果您有兴趣更明确地讨论此类模型为何有效的问题，请阅读 Leo Breiman 的一些论文。