python - 为什么 GridSearchCV 模型结果与我手动调整的模型不同？

Question

这是我在这里遇到的第一个问题，我希望我做得对，

我正在研究 kaggle 上流行的泰坦尼克号数据集，如果你想检查的话，可以查看这个教程 A Data Science Framework: To Achieve 99% Accuracy

第5.2部分，它教授如何网格搜索和调整超参数。在具体说明我的问题之前，让我先与您分享相关代码；

这是使用 GridSearchCV 调整模型:

cv_split = model_selection.ShuffleSplit(n_splits = 10, test_size = .3, train_size = .6, random_state = 0)
#cv_split = model_selection.KFold(n_splits=10, shuffle=False, random_state=None)

param_grid = {'criterion': ['gini', 'entropy'],
'splitter': ['best', 'random'], #splitting methodology; two supported strategies - default is best
'max_depth': [2,4,6,8,10,None], #max depth tree can grow; default is none
'min_samples_split': [2,5,10,.03,.05], #minimum subset size BEFORE new split (fraction is % of total); default is 2
'min_samples_leaf': [1,5,10,.03,.05], #minimum subset size AFTER new split split (fraction is % of total); default is 1
'max_features': [None, 'auto'], #max features to consider when performing split; default none or all
'random_state': [0] }

tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(), param_grid=param_grid, scoring = 'roc_auc', return_train_score = True ,cv = cv_split)
tune_model.fit(data1[data1_x_bin], data1[Target])`

    tune_model.best_params_

result is: 

    {'criterion': 'gini',
     'max_depth': 4,
     'max_features': None,
     'min_samples_leaf': 5,
     'min_samples_split': 2,
     'random_state': 0,
     'splitter': 'best'}

根据代码，训练和测试的准确性在调整时应该是这样的:

print(tune_model.cv_results_['mean_train_score'][tune_model.best_index_], tune_model.cv_results_['mean_test_score'][tune_model.best_index_])

输出:0.8924916598172832 0.8767742588186237

出于好奇，我想使用从 GridSearchCV 获得的参数制作自己的 DecisionTreeClassifier()，

dtree = tree.DecisionTreeClassifier(criterion = 'gini',max_depth = 4,max_features= None, min_samples_leaf= 5, min_samples_split= 2,random_state = 0,  splitter ='best')

results = model_selection.cross_validate(dtree, data1[data1_x_bin],  data1[Target],return_train_score = True, cv  = cv_split)

相同的超参数，相同的交叉验证数据帧，不同的结果。为什么？

print(results['train_score'].mean(), results['test_score'].mean())

0.8387640449438202 0.8227611940298509

那个是tune_model结果:

0.8924916598172832 0.8767742588186237

差距还不小。如果你问我，两个结果应该是相同的，

我不明白有什么不同？有什么不同导致结果不同？

我尝试使用 k-fold 代替 shufflesplit 进行交叉验证，

在这两种情况下，我都尝试了不同的 random_state 值，还尝试了 random_state = None，

结果仍然不同。

有人可以解释一下其中的区别吗？

编辑:顺便说一句，我还想检查测试样本结果:

dtree.fit(data1[data1_x_bin],data1[Target])
dtree.score(test1_x_bin,test1_y), tune_model.score(test1_x_bin,test1_y)

输出:(0.8295964125560538，0.9033059266872216)

相同的模型(决策树分类器)，相同的超参数，截然不同的结果

(显然它们不是相同的型号，但我不明白如何以及为什么)

Answer 1

更新

默认cross_validate默认使用估计器得分方法来评估其性能(您可以通过指定 scoring 的 cross validate kw 参数来更改它)。 DecisionTreeClassifier的评分方法类使用准确性作为其得分指标。在 GridSearchCV 内 roc_auc被用作分数度量。在这两种情况下使用相同的分数度量会产生相同的分数。例如。如果得分指标为 cross_validate更改为roc_auc您观察到的模型之间的分数差异消失了。

results = model_selection.cross_validate(dtree, data1[data1_x_bin],  data1[Target], scoring = 'roc_auc' ... )

关于分数指标:

评分指标的选择决定了如何评估模型的性能。

假设一个模型应该预测交通灯是否是绿色的(交通灯是绿色 -> 1，交通灯不是绿色 -> 0)。该模型可能会犯两种类型的错误。要么它说交通灯是绿色的，尽管它不是绿色的(假阳性)，或者它说交通灯不是绿色的，尽管它是绿色的(假阴性)。在这种情况下，假阴性会很丑陋，但其后果是可以忍受的(有人必须在红绿灯处等待比必要的时间更长的时间)。另一方面，误报将是灾难性的(有人通过红色交通灯，因为它被归类为绿色)。为了评估模型的性能，将选择一个评分指标，该评分指标对误报的权重高于误报(即将它们分类为“更糟糕”的错误)。 准确度在这里是一个不合适的指标，因为假阴性和假阳性会同等程度地降低分数。例如，更适合作为分数度量的是精度。该指标将误报的权重设为 1，将误报的权重设为 0(误报的数量对模型的精度没有影响)。有关假阴性、假阳性、精确度、召回率、准确度等的详细概述，请参阅 here 。 F 分数(另一个分数指标)的 beta 参数可用于设置与假阴性相比应如何对假阳性进行加权(有关更详细的说明，请参阅 here )。有关 roc_auc 的更多信息分数可查 here (它是根据混淆矩阵的不同统计量计算得出的)。

总而言之，这意味着同一模型相对于一个分数指标可以表现得很好，而相对于另一个分数指标则表现不佳。在您描述的情况下，GridSearchCV 优化的决策树和您随后实例化的树是相同的模型。两者产生相同的精度或相同roc_auc分数。您使用哪个评分指标来比较不同模型在数据集上的性能取决于您认为对模型性能特别重要的标准。如果唯一的标准是有多少实例被正确分类，那么准确性可能是一个不错的选择。

<小时/>

旧想法(见评论):

您为 dtree 指定了一个随机状态(dtree = tree.DecisionTreeClassifier(random_state = 0 ...)，但对于 GridSearchCV 中使用的决策树没有。在那里使用相同的随机状态，让我知道这是否解决了问题。

tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(random_state=0), ...)