python - 将 SHAP 瀑布图导出到数据框

Question

我正在使用随机森林模型和神经网络进行二元分类，其中使用 SHAP 来解释模型预测。我按照教程编写了以下代码以获得如下所示的瀑布图

row_to_show = 20
data_for_prediction = ord_test_t.iloc[row_to_show]  # use 1 row of data here. Could use multiple rows if desired
data_for_prediction_array = data_for_prediction.values.reshape(1, -1)
rf_boruta.predict_proba(data_for_prediction_array)
explainer = shap.TreeExplainer(rf_boruta)
# Calculate Shap values
shap_values = explainer.shap_values(data_for_prediction)
shap.plots._waterfall.waterfall_legacy(explainer.expected_value[0], shap_values[0],ord_test_t.iloc[row_to_show])

这生成了如下图所示的图

但是，我想将其导出到数据框，我该怎么做？

我希望我的输出如下所示。我想将其导出为完整的数据框。你能帮我一下吗？

Answer 1

让我们做一个小实验:

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_breast_cancer
from shap import TreeExplainer

X, y = load_breast_cancer(return_X_y=True)
model = RandomForestClassifier(max_depth=5, n_estimators=100).fit(X, y)
explainer = TreeExplainer(model)

这里的解释器是什么？如果你执行dir(explainer)，你会发现它有一些方法和属性，其中包括:

explainer.expected_value

您对此感兴趣，因为这是 SHAP 值相加的基础。

此外:

sv = explainer.shap_values(X)
len(sv)

会给出提示sv是一个由2个对象组成的列表，它们很可能是1和0的SHAP值，它们必须是对称(因为朝向 1 的方向移动的量完全相同，但符号相反，朝向 0)。

因此:

sv1 = sv[1]

现在您已拥有将其打包为所需格式的一切:

df = pd.DataFrame(sv1, columns=X.columns)
df.insert(0, 'bv', explainer.expected_value[1])

---

问:我怎么知道？
A:阅读文档和源代码。