python - Scikit-learn(Python) StratifiedKFold 的不同度量结果(f1 分数)

Question

我想为我的 StratifiedKFold 找到最佳分割，并在最佳分割上构建我的模型。代码如下:

def best_classifier(clf,k,x,y):

    skf = StratifiedKFold(n_splits=k,shuffle=True)

    bestclf = None
    bestf1 = 0
    bestsplit = []
    cnt = 1
    totalf1 = 0

    for train_index,test_index in skf.split(x,y):
        x_train,x_test = x[train_index],x[test_index]
        y_train,y_test = y[train_index],y[test_index]
        clf.fit(x_train,y_train)
        predicted_y = clf.predict(x_test)
        f1 = f1_score(y_test,predicted_y)
        totalf1 = totalf1+f1
        print(y_test.shape)

        print(cnt," iteration f1 score",f1)
        if cnt==10:
            avg = totalf1/10
             print(avg)
        if f1>bestf1:
            bestf1 = f1
            bestclf = clf
            bestsplit = [train_index,test_index]

        cnt = cnt+1   
    return [bestclf,bestf1,bestsplit]

这个函数返回我的分类器数组(适合最佳分割)、最佳 f1score 和最佳分割的索引

我这样调用它:

best_of_best = best_classifier(sgd,10,x_selected,y)

现在，由于我捕获了最佳分割和分类器，我再次测试它的相同分割，只是为了检查我是否得到与函数中得到的结果相同的结果。但显然事实并非如此。代码:

bestclf=  best_of_best[0]
test_index = best_of_best[2][1]
x_cv = x_selected[test_index]
y_cv = y[test_index]
pred_cv = bestclf.predict(x_cv)
f1_score(y_cv,pred_cv)

调用best_classifier方法时的结果:

(679,)
1  iteration f1 score 0.643298969072
(679,)
2  iteration f1 score 0.761750405186
(678,)
3  iteration f1 score 0.732773109244
(678,)
4  iteration f1 score 0.632911392405
(678,)
5  iteration f1 score 0.74179743224
(678,)
6  iteration f1 score 0.749140893471
(677,)
7  iteration f1 score 0.750830564784
(677,)
8  iteration f1 score 0.756756756757
(677,)
9  iteration f1 score 0.682170542636
(677,)
10  iteration f1 score 0.63813229572
0.708956236151

当我预测 statifiedkfold 最佳分割之外的结果

0.86181818181818182

我们可以看到，这个 f1 分数在 10 倍中没有观察到。为什么会这样？我做错了什么吗？我的方法逻辑是否错误？

Answer 1

解决了。问题是因为我没有将我的 clf 对象深度复制到 bestclf。每次当第 K 次折叠用于运行时，我的 bestclf 引用都会更改为当前的 clf，因为我没有进行深度复制。

bestclf = copy.deepcopy(clf)