python - 使用 2 个分类器进行集成学习

Question

我正在尝试结合两种方法来对我的数据进行分类，一种来自 SVM，另一种来自外部分类器，该分类器给出一个或多个关于它认为观察点是什么的标签。是否可以让这两个分类器一起工作？与 boosting 的作用类似。

我注意到在 scikit 的 adaboost 实现中，它只接受一种类型的分类器。此外，我拥有的第二个分类器给出 1 个或多个标签，没有任何与之关联的“权重”。我该怎么办？

Answer 1

有一种称为堆叠泛化的技术，它基本上获取任意 K 个分类器的输出，并在此基础上训练第二层分类器 - 因此第二层分类器的输入是第一层分类器的输出。您可以使用交叉验证和平均标签预测、predict_proba 输出或其他一些指标。

一个很好的介绍性链接是 here