python - 需要帮助理解 sklearn python 中的 cross_val_score

Question

我目前正在尝试使用 python 中的 sklearn 在分类中实现 K-FOLD 交叉验证。我了解 K-FOLD 和交叉验证背后的基本概念。但是，我不明白什么是 cross_val_score 以及它的作用是什么，以及 CV 迭代在获取我们得到的分数数组中起什么作用。以下是 sklearn 官方文档页面的示例。

**Example 1**
from sklearn import datasets, linear_model
from sklearn.model_selection import cross_val_score
diabetes = datasets.load_diabetes()
X = diabetes.data[:150]
y = diabetes.target[:150]
lasso = linear_model.Lasso()
print(cross_val_score(lasso, X, y, cv=3))  
***OUPUT***
[0.33150734 0.08022311 0.03531764]

看看示例 1，输出会在数组中生成 3 个值。我知道当我们使用 kfold 时，n_split 是生成折叠数的命令。那么 cv 在这个例子中做了什么？

**My Code**
kf = KFold(n_splits=4,random_state=seed,shuffle=False)
print('Get_n_splits',kf.get_n_splits(X),'\n\n')
for train_index, test_index in kf.split(X):
print('TRAIN:', train_index, 'TEST:', test_index)
x_train, x_test = df.iloc[train_index], df.iloc[test_index]
y_train, y_test = df.iloc[train_index], df.iloc[test_index]

print('\n\n')

# use train_test_split to split into training and testing data
x_train, x_test, y_train, y_test = cross_validation.train_test_split(X, y,test_size=0.25,random_state=0)

# fit / train the model using the training data
clf = BernoulliNB()
model = clf.fit(x_train, y_train)
y_predicted = clf.predict(x_test)

scores = cross_val_score(model, df, y, cv=4)
print('\n\n')
print('Bernoulli Naive Bayes Classification Cross-validated Scores:', scores)
print('\n\n')

查看我的代码，我正在对伯努利朴素贝叶斯分类器使用 4 折交叉验证，并在分数中使用 cv=4，如下所示: 分数 = cross_val_score(模型, df, y, cv=4)上面的行给了我一个包含 4 个值的数组。但是，如果我将其更改为 cv= 8，如下所示: 分数 = cross_val_score(模型, df, y, cv=8)然后生成 8 个值的数组作为输出。再说一遍，cv 在这里做什么。

我确实一遍又一遍地阅读文档并搜索了许多网站，但由于我是新手，我真的不明白 cv 的作用以及分数是如何生成的。

任何和所有的帮助将非常感激。

提前致谢

Answer 1

在 K-FOLD 交叉验证中，遵循以下过程:

1. 使用 K-1 折叠作为训练数据来训练模型
2. 根据剩余数据验证生成的模型

此过程重复 K 次，并在每一步计算性能指标，例如“准确性”。

请看下面的图片以获得清晰的图片。它取自 Scikit-Learn 的交叉验证模块。

Cross Validation

>>> from sklearn.model_selection import cross_val_score
>>> clf = svm.SVC(kernel='linear', C=1)
>>> scores = cross_val_score(clf, iris.data, iris.target, cv=5)
>>> scores                                              
array([0.96..., 1.  ..., 0.96..., 0.96..., 1.        ])
>>> print("Accuracy: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))
Accuracy: 0.98 (+/- 0.03)

此处计算单个平均分数。默认情况下，每次 CV 迭代计算的得分是估计器的得分方法。

我从下面提到的链接中获得了帮助。

1. "https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.cross_val_score.html#sklearn.model_selection.cross_val_score "

2. ' https://scikit-learn.org/stable/modules/cross_validation.html#cross-validation '