machine-learning - 为什么SAMME.R AdaBoost算法中的estimator_weight设置为1

Question

我是 AdaBoost 算法的新手。在 sklearn SAMME算法的_boost_discrete() returns分类器权重为“estimator_weight”

def _boost_discrete(self, iboost, X, y, sample_weight):
    .......

    return sample_weight, estimator_weight, estimator_error

但是，对于 SAMME.R 算法，“_boost_real()”是 returning “1”而不是返回估计器权重。

def _boost_real(self, iboost, X, y, sample_weight):
    .......

    return sample_weight, 1., estimator_error

我的问题是为什么 SAMME.R 算法将 estimator_weight 返回为“1”。我正在关注引用文献[1]。请帮助我理解该算法。提前致谢。

引用:[1]J. Zhu、H. Zou、S. Rosset、T. Hastie，“多类 AdaBoost”，2009 年。

Answer 1

这是我对为什么在 SAMME.R 算法中权重可能被设置为“1”的理解 Multi-class Adaboost 2006年的论文。你提到的2009年的论文不包括SAMME.R算法。

在论文(2006)中，sample_weight 由 w 表示，estimator_weight 由 alpha 表示。

如果你看一下算法 2 SAMME

一旦学习了w和alpha，新样本就会根据C(x)进行分类。请注意，estimator_weight (alpha^(m)) 出现在 C(x) 中，可以解释为弱更新的强度学习者m。

现在让我们看看算法 4 SAMME.R。

请注意，estimator_weight (alpha) 不会出现在该算法中的任何位置。相反，弱学习器的特征是加权类别概率估计，并且新样本根据这个新的 C(x) 进行分类。尽管 estimator_weight (alpha) 没有直接出现在 C(x) 中，但可以将其放在 h_k^( 前面m)(x)(作为乘数)并将所有 alpha 定义为 1:

这会导致所有 estimator_weight 在训练结束时呈现为 1 的值。