adaboost - 如果错误率为零，如何计算 alpha (Adaboost)

Question

我一直想知道当它有错误率(完美分类)时，alpha(弱分类器的权重)的值应该是多少，因为 alpha 的算法是 (0.5) * Math.log(((1 - errorRate)/errorRate))

谢谢。

Answer 1

如果您通过重新加权并将整个训练数据传递给弱学习器来增强，我会说您发现了一个实际上很强的弱分类器，毕竟它完美地对您的数据进行了分类。

在这种情况下，它应该发生在第一次 Adaboost 迭代中。将弱分类器添加到强分类器中，并将 alpha 设置为 1 并停止训练。

现在，如果这种情况发生在您通过重采样进行提升时，并且您的样本只是训练数据的一个子集，我相信您应该丢弃该子集并使用另一个样本重试。

我相信您达到这样的结果是因为您正在使用一个非常简单的示例，或者您的训练数据集非常小或不具有代表性。也有可能您的弱分类器太弱并且太快地接近随机猜测。