machine-learning - 考虑三个相互独立的分类器 A、B、C，具有相同的错误概率 :

Question

问题是这样的:

Consider three mutually independent classifiers, A, B, C, with equal error probabilities:

Pr(errA) = Pr(errB) = Pr(errC) = t

Let D be another classifier that takes the majority vote of A, B, and C.

• What is Pr(errD)?

• Plot Pr(errD) as a function of t.

• For what values of t, the performance of D is better than any of the other three classifiers?

<小时/><小时/>

我的问题是:

(1)我无法计算出 D 的错误概率。我认为它会是 1 减去 alpha (1 - α)，但我不确定。

(2) 如何绘制 t(Pr(errD))？我假设没有找到 Pr(errD) 那么我可以绘制它。

(3) 在这里，我也无法弄清楚。相比之下，我应该如何判断D的性能？

Answer 1

如果我理解得好，你的问题可以用简单的术语来表述，而不需要任何集成学习。

鉴于 D 是 3 个分类器投票的结果，当且仅当最多有一个估计器是正确的时，D 才是错误的。

A,B,C 是独立的，因此:

• 没有一个正确的概率是 t^3

• 其中一个正确而另外两个错误的概率为 3(1-t)t^2(因子 3 是因为有三种方法可以实现这一目标)

所以 P(errD) = t^3 + 3(1-t)t^2 = -2t^3 + 3t^2

您应该能够将其绘制为区间 [0:1] 中 t 的函数，而不会遇到太多困难。

至于你的第三个问题，只需解决 P(errA) - P(errD) >0 (这意味着 D 的错误概率小于 A，因此其性能更好)。如果你解决这个问题，你应该会发现条件是 t<0.5。

回到集成学习，请注意估计器之间的独立性假设通常在实践中没有得到验证。