python - LightGBM 的特征重要性

Question

我使用多种算法训练了一个模型，包括来自 skicit-learn 的随机森林和 LightGBM。这些模型在准确性和其他统计数据方面表现相似。

问题在于这两种算法在特征重要性方面的行为不一致。我使用了默认参数，我知道他们使用不同的方法来计算特征重要性，但我认为高度相关的特征应该总是对模型的预测影响最大。随机森林对我来说更有意义，因为高度相关的特征出现在顶部，而 LightGBM 并非如此。

有没有办法解释这种行为，LightGBM 的结果是否值得呈现？

随机森林特征重要性

LightGBM 特征重要性

与目标的相关性

Answer 1

我遇到过类似的问题。 LGBM 的默认特征重要性基于“split”，当我将其更改为“gain”时，绘图给出了类似的结果。