python - 为什么 "value"的和不等于 scikit-learn RandomForestClassifier 中 "samples"的个数？

Question

我通过 RandomForestClassifier 构建了一个随机森林并绘制了决策树。参数“值”(红色箭头所指)是什么意思？为什么 [] 中两个数字的总和不等于“样本”的数量？我看到一些其他的例子， [] 中两个数字的总和等于“样本”的数量。为什么在我的情况下没有？

df = pd.read_csv("Dataset.csv")
df.drop(['Flow ID', 'Inbound'], axis=1, inplace=True)
df.replace([np.inf, -np.inf], np.nan, inplace=True)
df.dropna(inplace = True)
df.Label[df.Label == 'BENIGN'] = 0
df.Label[df.Label == 'DrDoS_LDAP'] = 1
Y = df["Label"].values
Y = Y.astype('int')
X = df.drop(labels = ["Label"], axis=1)
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.5)
model = RandomForestClassifier(n_estimators = 20)
model.fit(X_train, Y_train)
Accuracy = model.score(X_test, Y_test)
        
for i in range(len(model.estimators_)):
    fig = plt.figure(figsize=(15,15))
    tree.plot_tree(model.estimators_[i], feature_names = df.columns, class_names = ['Benign', 'DDoS'])
    plt.savefig('.\\TheForest\\T'+str(i))

Answer 1

不错的收获。

虽然没有记录，但这是由于 bootstrap 采样 在随机森林模型中默认发生(请参阅我在 Why is Random Forest with a single tree much better than a Decision Tree classifier? 中的回答以了解更多关于 RF 算法的细节及其与单纯的区别“一堆”决策树)。

让我们看一个包含iris 数据的例子:

from sklearn.datasets import load_iris
from sklearn import tree
from sklearn.ensemble import RandomForestClassifier

iris = load_iris()

rf = RandomForestClassifier(max_depth = 3)
rf.fit(iris.data, iris.target)

tree.plot_tree(rf.estimators_[0]) # take the first tree

此处的结果类似于您报告的结果:对于除右下角以外的所有其他节点，sum(value) 不等于 samples，因为它应该是a "simple" decision tree 的案例.

细心的观察者会注意到其他一些看起来很奇怪的东西:而 iris 数据集有 150 个样本:

print(iris.DESCR)

.. _iris_dataset:

Iris plants dataset
--------------------

**Data Set Characteristics:**

    :Number of Instances: 150 (50 in each of three classes)
    :Number of Attributes: 4 numeric, predictive attributes and the class

树的基节点应该包括所有这些，第一个节点的samples只有89。

这是为什么，这里到底发生了什么？为了看看，让我们拟合第二个 RF 模型，这次没有自举采样(即使用bootstrap=False):

rf2 = RandomForestClassifier(max_depth = 3, bootstrap=False) # no bootstrap sampling
rf2.fit(iris.data, iris.target)

tree.plot_tree(rf2.estimators_[0]) # take again the first tree

好吧，现在我们已经禁用了自举采样，一切看起来都“不错”:每个节点中的 value 之和等于 samples，并且基本节点确实包含整个数据集(150 个样本)。

因此，您描述的行为似乎确实是由于自举抽样造成的，这在创建样本时使用替换(即为每个单独的决策生成重复样本)合奏树)，这些重复样本不会反射(reflect)在树节点的 sample 值中，树节点显示唯一样本的数量；然而，它反射(reflect)在节点值中。

情况与 RF 回归模型以及 Bagging 分类器的情况完全相似 - 分别参见:

• sklearn RandomForestRegressor discrepancy in the displayed tree values
• Why does this decision tree's values at each step not sum to the number of samples?