python - 为什么使用 scikit-learn 的 GradientBoostingRegressor 从相同的输入中得到不同的输出？

Question

例如:

params = {'n_estimators': 200, "max_depth": 4, 'subsample': 1, 'learning_rate': 0.1}
boost = ensemble.GradientBoostingRegressor(**params)
ghostBoost = ensemble.GradientBoostingRegressor(**params)

...

boost.fit(x, y)
ghostBoost.fit(x, y)

...

predictionA = boost.predict(features)
predictionB = ghostBoost.predict(features)

boost 和 ghostBoost 完全相同，但 predictionA 不等于 predictionB，为什么会发生这种情况？

Answer 1

尝试将两个模型的 random_state 构造函数参数修复为相同的值。决策树构建过程是随机的，因为每个节点都考虑从可用特征中随机抽取的max_features(有替换无替换)。

编辑:特征采样是在没有替换的情况下完成的。当 max_features=None (默认)时，所有特征都会被评估，但是当 max_depth 不是 None 时，顺序会发生变化，这可能会产生影响目标变量具有非唯一值，导致最佳特征分割并列。