machine-learning - 降低 FP 率 scikit-learn 随机森林

Question

我正在使用 scikit-learn 随机森林分类器，我想通过将成功投票所需的树数量从大于 50% 增加到 75% 来降低 FP 率，在阅读文档后我不这样做确定如何做到这一点。有没有人有什么建议。 (我认为应该有一种方法可以做到这一点，因为根据文档，分类器的预测方法是根据多数票决定的)。感谢所有帮助，谢谢!

Answer 1

假设您现在有一个分类器，它在所有估计器中使用 75% 的一致性。如果它得到一个新样本，并且有 51%-49% 的概率支持某一类别，您希望它做什么？

之所以使用 50% 规则，是因为您提出的决策规则可能会导致分类器出现“我无法预测这些样本的标签”的情况。

您可以做的就是包装分类器的结果，并进行您想要的任何计算 -

from sklearn.ensemble import RandomForestClassifier
from sklearn import datasets
import numpy as np

def my_decision_function(arr):
    diff = np.abs(arr[:,0]-arr[:,1])
    arr [ diff < 0.5 ] = [-1,-1] # if >0.5, one class has more than 0.75 prediction
    return arr


X, y = datasets.make_classification(n_samples=100000, n_features=20,
                                n_informative=2, n_redundant=2)
train_samples = 100  # Samples used for training the models

X_train = X[:train_samples]
X_test = X[train_samples:]
y_train = y[:train_samples]
y_test = y[train_samples:]

clf = RandomForestClassifier().fit(X_train,y_train)
print my_decision_function(clf.predict_proba(X_train))

现在，至少一个类别的小于 0.75% 的每个样本都将进行 [-1,-1] 预测。如果您使用多标签分类，则最需要进行一些调整，但我希望这个概念是清楚的。