python - 通过循环 train_test_split 和不循环训练来训练模型

Question

我是 python 和 Keras 新手，请耐心解答我的问题。

1. 我最近在 Keras 中创建了一个模型，对其进行了训练并获得了“均方误差 MSE”后预测。我在所使用的数据集上使用了train_test_split函数。

2. 接下来，我创建了一个 50 次迭代的 while 循环，并将其应用于上述模型。不过，我将 train_test_split 函数(*random_number 未指定)保留在循环内，这样在每次迭代中我都会有一组新的 X_train、y_train、X_test 和 y_test 值。我获得了 50 个 MSE 值作为输出，并计算了它们的“平均值”和“标准”偏差。我的疑问是，我将 train_test_split 函数放在循环中是否做了正确的事情？它是否会影响我的目标，即查看为我的数据集生成的不同 MSE 值？

3. 如果我将 train_test_split 函数放在 while 循环之外并执行上述事件，那么 X_train、y_train、X_test 和 y_test 值在我的所有 50 次迭代中不会保持不变吗？这不会导致我的模型出现过度拟合问题吗？

我非常感谢您的反馈。

我的代码片段:

from sklearn.model_selection import train_test_split
from sklearn import metrics
import numpy as np

MSE=np.zeros(50)

for i in range(50):
    predictors_train,predictors_test,target_train,target_test=train_test_split(predictors,target,test_size=0.3)
    model=regression_model()
    model.fit(predictors_train,target_train,validation_data=(predictors_test,target_test),epochs=50,verbose=0)
    model.evaluate(predictors_test,target_test, verbose=0)
    target_predicted=model.predict(predictors_test)
    MSE[i]=metrics.mean_squared_error(target_test, target_predicted)
    print("Test set MSE for {} cycle:{}".format(i+1,MSE[i]))

Answer 1

您正在实现的方法称为交叉验证，它可以让您的模型更好地“查看”数据，并减少训练数据“过于完美”或“过于嘈杂”的可能性。

因此，将您的 train_test_set 放入循环中将从您的原始数据生成新的训练批处理，并且通过输出您将获得您想要的结果。如果您将train_test_set放在外面，则所有训练循环中的训练数据批处理将保持相同，从而导致像您所说的过度拟合。

但是 train_test_split 是随机的，因此您可以有两个非常有可能的随机批处理，因此此方法不是最佳的。

更好的方法是使用 k 折交叉验证:

from sklearn.model_selection import StratifiedKFold

kfold = StratifiedKFold(n_splits=10, shuffle=True, random_state=seed)

MSE = []

for train, test in kfold.split(X, Y):

   model = regression_model()
   model.fit(X[train],y[train],validation_data= (X[test],y[test]),epochs=50,verbose=0)
   model.evaluate(X[test],y[test], verbose=0)
   target_predicted = model.predict(predictors_test)
   MSE.append(metrics.mean_squared_error(y[test], target_predicted))
   print("Test set MSE for {} cycle:{}".format(i+1,MSE[i]))

print("Mean MSE for {}-fold cross validation : {}".format(len(MSE), np.mean(MSE)) 

此方法将创建 10 倍的训练数据，并在每次迭代时使用不同的数据来拟合您的模型。

您可以在此处获取更多信息:https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.StratifiedKFold.html

希望这对您有帮助!

精确编辑

确实不要在您的测试数据上使用此方法，而只能在您的验证数据上使用!您的模型之前绝不能看到您的测试数据!