machine-learning - 相关性会影响 ML 模型的特征重要性吗？

Question

我正在构建一个具有数百个功能的 xgboost 模型。对于彼此高度相关( PIL 逊相关)的特征，我正在考虑使用特征重要性(通过增益测量)来丢弃重要性较低的特征。我的问题:1:相关性是否会影响/偏差特征重要性(通过增益来衡量)？2:有什么好的方法可以去除ML模型的高度相关特征吗？

示例:a 的重要性=120，b 的重要性=14，corr(a,b)=0.8。我正在考虑删除 b，因为它的重要性=14。但这是正确的吗？

谢谢。

Answer 1

相关性肯定会影响特征的重要性。这意味着，如果这些特征高度相关，那么如果保留所有特征，就会出现高度冗余。因为两个特征是相关的，意味着其中一个特征的变化也会改变另一个特征。那么没有必要全部都正确吗？由于它们肯定彼此具有代表性，并且使用其中的一些，您有望能够很好地对数据进行分类。

因此，为了删除高度相关的特征，您可以:

1. 使用 PCA 降低维度，或者，
2. 使用决策树查找重要特征，或者，
3. 您可以根据您的知识手动选择特征(如果是)可能)哪些特征更有希望帮助你分类您的数据，或者，
4. 您可以手动将某些功能组合成新功能，以便说出一个特征可能会消除告诉另一组特征的必要可能的特征可以从该单个特征中推断出来功能。