gpt4 book ai didi

python - 如何将 SHAP 本地解释导出到数据框?

转载 作者:行者123 更新时间:2023-12-05 03:26:54 24 4
gpt4 key购买 nike

我正在使用随机森林进行二元分类,并尝试使用 SHAP 来解释模型预测。

但是,我想将带有值的 SHAP 局部解释图转换为每个实例的 pandas 数据框。

这里有人可以帮助我将 SHAP 本地解释导出到每个实例的 pandas 数据框吗?

我知道 SHAPASH 有 .to_pandas() 方法,但在 SHAAP 中找不到类似的东西

我根据 SO 帖子 here 尝试了类似下面的内容但这并没有帮助

feature_names = shap_values.feature_names
shap_df = pd.DataFrame(shap_values.values, columns=feature_names)
vals = np.abs(shap_df.values).mean(0)
shap_importance = pd.DataFrame(list(zip(feature_names, vals)), columns=['col_name', 'feature_importance_vals'])
shap_importance.sort_values(by=['feature_importance_vals'], ascending=False, inplace=True)

我希望我的输出如下所示。这里,负号表示对类 0 的特征贡献,正值表示对类 1 的特征贡献

subject_id       Feature importance      value (contribution)
1 F1 31
1 F2 27
1 F3 20
1 F5 - 10
1 F9 - 29

最佳答案

如果你有这样的模型:

import xgboost
import shap
import warnings
warnings.filterwarnings("ignore")

# train XGBoost model
X,y = shap.datasets.boston()
model = xgboost.XGBRegressor().fit(X, y)

# explain the model's predictions using SHAP values
# (same syntax works for LightGBM, CatBoost, and scikit-learn models)
background = shap.maskers.Independent(X, max_samples=100)
explainer = shap.Explainer(model, background, algorithm="tree")
sv = explainer(X)

你可以像这样分解你的结果:

sv.base_values[0]

22.342787810446044

sv.values[0]

array([-7.68297079e-01, -4.38205232e-02,  3.46814548e-01, -4.06731364e-03,
-3.17875379e-01, -5.37296545e-01, 2.68567768e-01, -1.30198611e+00,
-4.83524088e-01, -4.39375216e-01, 2.94188969e-01, 2.43096180e-02,
4.63890554e+00])

model.predict(X.iloc[[0]])

array([24.019339], dtype=float32)

正好等于:

sv.base_values[0] + sum(sv.values[0])

24.01933200249436

如果你想把结果放到 Pandas df:

pd.DataFrame(sv.values[0], index = X.columns)

         0
CRIM -0.768297
ZN -0.043821
INDUS 0.346815
CHAS -0.004067
NOX -0.317875
RM -0.537297
AGE 0.268568
DIS -1.301986
RAD -0.483524
TAX -0.439375
PTRATIO 0.294189
B 0.024310
LSTAT 4.638906

或者,如果您希望所有内容按行排列:

pd.DataFrame(
np.c_[sv.base_values, sv.values],
columns = ["bv"] + list(X.columns)
)

关于python - 如何将 SHAP 本地解释导出到数据框?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/71599628/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com