python - 让 RandomForestClassifier 在训练期间确定选择一个变量

Question

这是一个新手问题。

我想使用 sklearn 中的 RandomForestClassifier 训练一个 Random Forest。我有几个变量，但在这些变量中，我希望算法在它训练的每一棵树中确定一个变量(我们称之为 SourceID)。

我该怎么做？在这种情况下，我在分类器中看不到任何有帮助的参数。

任何帮助将不胜感激!TIA。

编辑

所以这是我的场景..

如果老师布置了关于概念 A 的作业，我必须预测下一个可能的作业概念。下一个分配的概念将严重依赖于已经分配的 Concept A。例如 - 在分配“牛顿第一运动定律”之后，很可能会分配“牛顿第二运动定律”。通常，在 Concept A 之后分配的概念选择是有限的。给定过去的数据，我想在分配 Concept A 之后预测最佳可能选项。

如果我让随机森林随机选择变量，那么会有一些树没有概念A的变量，在在这种情况下，预测可能没有多大意义，这就是为什么我想强制选择这个变量。更好的是，如果选择此变量作为每棵树中要拆分的第一个变量，那就太好了。

这让事情变得清晰了吗？ random forest 根本不是这项工作的候选人吗？

Answer 1

RandomForestClassifier 中没有此选项，但随机森林算法只是决策树的集合，其中每棵树仅考虑所有可能特征的一个子集，并在引导子样本上进行训练的训练数据。

因此，对于被迫使用一组特定功能的树木，我们自己手动创建它并不难。我在下面写了一个类来做到这一点。这不会不执行稳健的输入验证或类似的任何事情，但您可以为此查阅 sklearn 的随机森林 fit 函数的来源。这是为了让您了解如何自己构建它:

FixedFeatureRFC.py

import numpy as np
from sklearn.tree import DecisionTreeClassifier

class FixedFeatureRFC:
    def __init__(self, n_estimators=10, random_state=None):
        self.n_estimators = n_estimators

        if random_state is None:
            self.random_state = np.random.RandomState()

    def fit(self, X, y, feats_fixed=None, max_features=None, bootstrap_frac=0.8):
        """
        feats_fixed: indices of features (columns of X) to be 
                     always used to train each estimator

        max_features: number of features that each estimator will use,
                      including the fixed features.

        bootstrap_frac: size of bootstrap sample that each estimator will use.
        """
        self.estimators = []
        self.feats_used = []
        self.n_classes  = np.unique(y).shape[0]

        if feats_fixed is None:
            feats_fixed = []
        if max_features is None:
            max_features = X.shape[1]

        n_samples = X.shape[0]
        n_bs = int(bootstrap_frac*n_samples)

        feats_fixed = list(feats_fixed)
        feats_all   = range(X.shape[1])

        random_choice_size = max_features - len(feats_fixed)

        feats_choosable = set(feats_all).difference(set(feats_fixed))
        feats_choosable = np.array(list(feats_choosable))

        for i in range(self.n_estimators):
            chosen = self.random_state.choice(feats_choosable,
                                              size=random_choice_size,
                                              replace=False)
            feats = feats_fixed + list(chosen)
            self.feats_used.append(feats)

            bs_sample = self.random_state.choice(n_samples,
                                                 size=n_bs,
                                                 replace=True)

            dtc = DecisionTreeClassifier(random_state=self.random_state)
            dtc.fit(X[bs_sample][:,feats], y[bs_sample])
            self.estimators.append(dtc)

    def predict_proba(self, X):
        out = np.zeros((X.shape[0], self.n_classes))
        for i in range(self.n_estimators):
            out += self.estimators[i].predict_proba(X[:,self.feats_used[i]])
        return out / self.n_estimators

    def predict(self, X):
        return self.predict_proba(X).argmax(axis=1)

    def score(self, X, y):
        return (self.predict(X) == y).mean() 

这是一个测试脚本，用于查看上面的类是否按预期工作:

test.py

import numpy as np
from sklearn.datasets import load_breast_cancer
from FixedFeatureRFC import FixedFeatureRFC

rs = np.random.RandomState(1234)
BC = load_breast_cancer()
X,y = BC.data, BC.target
train = rs.rand(X.shape[0]) < 0.8

print "n_features =", X.shape[1]

fixed = [0,4,21]
maxf  = 10

ffrfc = FixedFeatureRFC(n_estimators=1000)
ffrfc.fit(X[train], y[train], feats_fixed=fixed, max_features=maxf)

for feats in ffrfc.feats_used:
    assert len(feats) == maxf
    for f in fixed:
        assert f in feats

print ffrfc.score(X[~train], y[~train])

输出是:

n_features = 30
0.983739837398

没有一个断言失败，表明我们选择要修复的特征用于每个随机特征子样本，并且每个特征子样本的大小是所需的 max_features 大小。保留数据的高精度表明分类器工作正常。