machine-learning - 什么时候 adaboost 在某些数据组合上优于 XGboost？

Question

我叫Eslam，是埃及的一名硕士生，我的论文研究领域是教育数据挖掘。我使用 AdaBoost 和 XGBoost 技术作为我的预测模型，根据开放学习分析数据集 - OLAD 预测学生的成功率。

分析背后的想法是将各种技术(包括集成和非集成技术)与不同的特征组合结合起来，出现了有趣的结果

结果:

问题是为什么某些技术在特定特征组合中比其他技术表现更好？专门用于随机 Rorest、XGB 和 ADA？

Answer 1

根据您想要近似的空间类型和函数类型，ML 模型可以实现不同的结果。您可以预期 SVM 在自然嵌入希尔伯特空间的数据上获得最高分数。另一方面，如果数据不适合这种空间(即许多校准分类，而不是有序特征)，您可以预期提升树方法将优于 SVM。

但是，如果我很好地理解“决策树准确性”是基于图片结果的单个决策树，我相信您的测试是在小数据集上完成的，或者您的提升和 RF 参数化不正确。