machine-learning - 集成学习有哪些具体例子？

Question

有哪些具体的现实生活示例可以使用 Boosting/Bagging 算法来解决？代码片段将不胜感激。

Answer 1

集成用于对抗过度拟合/提高泛化能力或对抗特定弱点/使用不同分类器的强度。它们可以应用于任何分类任务。

我在my masters thesis中使用了合奏。 code is on Github .

示例 1

例如，考虑一个二元问题，您必须判断一个数据点属于 A 类还是 B 类。这可能是一张图像，您必须确定是否有 (A) 狗或 (B)上面有一只猫。现在你有两个分类器 (1) 和 (2)(例如两个神经网络，但以不同方式训练；或者一个 SVM 和一棵决策树，或者......)。他们犯了以下错误:

(1):   Predicted
T    | A    B
R  ------------
U  A | 90%  10%
E  B | 50%  50%


(2):   Predicted
T    | A    B
R  ------------
U  A | 60%  40%
E  B | 40%  60%

例如，您可以首先使用 (1) 将它们组合成一个整体。如果它预测 B，那么您可以使用 (2)。否则你就坚持下去。

现在，预期的错误是什么(错误地)假设两者是独立的)？

如果真实类别是A，那么我们预测的真实结果为 90%。在 10% 的情况下，我们预测 B 并使用第二个分类器。这个方法在 60% 的情况下都是正确的。这意味着，如果我们有 A，我们会在 0.9 + 0.1*0.6 = 0.96 = 96% 的情况下预测 A。

如果真实类别为 B，我们将预测 50% 的情况为 B。但我们还需要第二次就正确，所以只有在 0.5*0.6 = 0.3 = 30% 的情况下我们才能正确。

因此，在这个简单的示例中，我们使一个类的情况变得更好，但使另一个类的情况变得更糟。

示例 2

现在，假设我们有 3 个分类器

      Predicted
T    | A    B
R  ------------
U  A | 60%  40%
E  B | 40%  60%

每个，但分类是独立的。当你获得多数票时你会得到什么？

如果你有 A 类，那么至少有两个人说它是 A 类的概率是

  0.6 * 0.6 * 0.6 + 0.6 * 0.6 * 0.4 + 0.6 * 0.4 * 0.6 + 0.4 * 0.6 * 0.6
= 1*0.6^3 + 3*(0.6^2 * 0.4^1)
= (3 nCr 3) * 0.6 + (3 nCr 2) * (0.6^2 * 0.4^1)
= 0.648

其他类(class)也是如此。所以我们将分类器改进为

      Predicted
T    | A    B
R  ------------
U  A | 65%  35%
E  B | 35%  65%

代码

参见sklearns page on Ensembles代码。

集成学习最具体的例子是随机森林。