python - OnevsrestClassifier 和随机森林

Question

我正在尝试重现示例 here但使用 RandomForestClassifer。

我看不到如何转换这部分代码

# Learn to predict each class against the other
classifier = OneVsRestClassifier(svm.SVC(kernel='linear', probability=True,
                                 random_state=random_state))
y_score = classifier.fit(X_train, y_train).decision_function(X_test)

我试过了

# Learn to predict each class against the other
classifier = OneVsRestClassifier(RandomForestClassifier())
y_score = classifier.fit(X_train, y_train).decision_function(X_test)

但是我明白了

AttributeError: Base estimator doesn't have a decision_function attribute.

有解决办法吗？

Answer 1

那么您应该知道 decision_function 的用途。它仅与 SVM 分类器一起使用，原因是它给出了数据点与分隔数据的超平面的距离，而当您使用 RandomForestClassifier 执行此操作时，它没有任何意义。您可以使用 RFC 支持的其他方法。如果您想获得分类数据点的概率，可以使用 predict_proba。

这是受支持的 functions 的引用

只需提及 RFC 确实支持 oob_decision_function，这是对您的训练集的袋外估计。

所以只需将您的行替换为 -

y_score = classifier.fit(X_train, y_train).predict_proba(X_test)

或

y_score = classifier.fit(X_train, y_train).predict(X_test)