machine-learning - 如何对数据应用交叉验证？

Question

我想使用平均交叉验证分数来评估 ML 模型。

我正在将数据拆分为训练集和测试集。

但我不知道是否必须使用训练数据或测试数据来使用交叉验证分数来评估模型。

这是我的代码的一部分:

train, test = train_test_split(basic_df, test_size=0.3, random_state=42)  

# Separate the labels from the features and convert features & labels to numpy arrays
x_train=train.drop('successful',axis=1)
y_train=train['successful']

x_test=test.drop('successful',axis=1)
y_test=test['successful']

model = RandomForestClassifier()

model_random = RandomizedSearchCV(estimator = model, param_distributions = random_grid, n_iter = 100, cv = 5, verbose=2, random_state=42, n_jobs = -1)

model_random.fit(x_train, y_train)


print('Accuracy score: ', model_random.score(x_test,y_test))
print('Average Cross-Val-Score: ', np.mean(cross_val_score(model_random, x_train, y_train, cv=5))) # 5-Fold Cross validation

Y_predicted = model_random.predict(x_test.values)
print('f1_score (macro): ', f1_score(y_test, Y_pred, average='macro') )

主要问题在以下代码行:

print('Average Cross-Val-Score: ', np.mean(cross_val_score(model_random, x_train, y_train, cv=5))) # 5-Fold Cross validation

这是正确的还是我应该像这样使用测试集:

print('Average Cross-Val-Score: ', np.mean(cross_val_score(model_random, x_test, y_test, cv=5))) # 5-Fold Cross validation

Answer 1

您无需再次拟合即可了解模型在训练数据上的表现。您可以使用以下命令来获取

import pandas as pd
pd.DataFrame(model_random.cv_results_) 

查看mean_test_score列。请记住，这是交叉验证测试折叠上的性能。这将使您了解模型对于 RandomizedSearchCV 选择的特定超参数组合的表现如何。使用

可以提取最佳的超参数组合和相应的模型

model_random.best_params_
model_random.best_estimator_

对于您的实际测试数据，通常人们不会在那里使用交叉验证。只需在那里进行预测，就像您在这部分中所做的那样。在后台，它使用 model_random.best_estimator_ 进行预测。

Y_predicted = model_random.predict(x_test.values)
print('f1_score (macro): ', f1_score(y_test, Y_pred, average='macro') )

看看这个documentation以获得更多解释。