machine-learning - 对于任何分布，弱学习器真的必须有 < 1/2 的误差吗？

Question

我所了解到的关于弱学习器(特别是与 AdaBoost 相关)的一切都表明，对于任何训练数据分布，它们的误差都必须小于 1/2。我想我一定是误解了这一点，所以如果有人能指出我下面逻辑中的缺陷，我将不胜感激:

假设一个弱学习者仅错误分类了一个示例(称之为 x )。然后，考虑该示例 x 的权重为 100%，而其他每个示例的权重为 0% 的分布。显然，对于该分布，弱学习器的误差为 1，即 > 1/2。根据我对定义的理解，这意味着它并不是真正的弱学习者。因此，如果弱学习器对单个样本数据进行了错误分类，那么对于任何分布，它的误差都不会小于 1/2。但这意味着弱学习器必须是完美的，我知道这违背了弱学习器增强整体的全部意义，而且只是疯狂的说法。

所以，我一定是误解了弱学习器对于任何分布的错误 < 1/2 意味着什么。 “任何”实际上意味着什么？

Answer 1

在 2 类问题中，随机学习者的误差=0.5。实际上，这是最严重的错误，因为您可以将每个错误超过 0.5 的学习器编辑为完全相反的值 - 这意味着相反的学习器错误将为 1 -(第一​​个学习器的错误)。此外，对 1 个示例的误差测量存在很大问题，并且可能无法正确表示真实误差。因此，如果最坏的错误是 0.5(正如我们所看到的，我们可以使任何学习器的错误小于 0.5)，则提升需要每个弱学习器具有更高的准确性，以便将它们组合在一起并“提升”。