python - 我可以在 scikit-learn(和 R)中为 DecisionTreeClassifier 绘制部分图吗

Question

我有一些使用 scikit-learn 的 DecisionTreeClassifier 的旧代码。我想根据这个分类器制作部分图。

到目前为止我看到的所有示例(例如 http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.partial_dependence.plot_partial_dependence.html)都使用“GradientBoostingRegressor”作为分类器。

我的问题是，是否可以为其他分类器制作部分图？(例如 DecisionTreeClassifier)。我尝试了以下代码:

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble.partial_dependence import plot_partial_dependence
from sklearn.datasets import make_friedman1

X, y = make_friedman1()
clf = DecisionTreeClassifier(max_features='auto').fit(X,y)
fig, axs = plot_partial_dependence(clf, X, [0, (0, 1)])                                                    

它不起作用。

ValueError: gbrt has to be an instance of BaseGradientBoosting

我在互联网上找到了一些评论(Quora):

Partial dependence plots don't depend on the particular choice of classifier at all. The partial dependence plot module used for the gradient boosting example would work fine if you swapped in a random forest classifier.

但是，我仍然不知道它是如何工作的。

同样对于 R，我似乎可以为 randomForest 包制作部分图。但是，我不确定随机森林是如何实现的，在 R 手册中，作者 Andy Liaw 引用了引用文献“Friedman, J. (2001). Greedy function approximation: the gradient boosting machine, Ann. of Stat”。

这是否意味着我必须使用梯度提升才能获得部分图？

感谢任何帮助。非常感谢!

Answer 1

如您的错误消息所述，您必须使用基类为 BaseGradientBoosting 的分类器。

来自您发布的文档:

gbrt : BaseGradientBoosting

A fitted gradient boosting model

GradientBoostingClassifier 和 GradientBoostingRegressor 都继承自 BaseGradientBoosting ( source )，因此理论上，这些类中的任何一个都应该可以工作。至于其余的分类器，它们似乎不受 plot_partial_dependence 函数的支持。