machine-learning - 使用 Keras 和 sklearn GridSearchCV 交叉验证提前停止

Question

我希望使用 Keras 和 sklean 实现提前停止 GridSearchCV .

下面的工作代码示例修改自 How to Grid Search Hyperparameters for Deep Learning Models in Python With Keras 。数据集可能是downloaded from here .

修改添加了 Keras EarlyStopping回调类以防止过度拟合。为了使其有效，需要 monitor='val_acc'监控验证准确性的论据。对于 val_acc可用 KerasClassifier需要 validation_split=0.1生成验证准确性，否则 EarlyStopping加薪RuntimeWarning: Early stopping requires val_acc available! 。请注意FIXME:代码注释!

请注意，我们可以替换 val_acc通过val_loss !

问题:如何使用 GridSearchCV 生成的交叉验证数据集k 折算法而不是浪费 10% 的训练数据来提前停止验证集？

# Use scikit-learn to grid search the learning rate and momentum
import numpy
from sklearn.model_selection import GridSearchCV
from keras.models import Sequential
from keras.layers import Dense
from keras.wrappers.scikit_learn import KerasClassifier
from keras.optimizers import SGD

# Function to create model, required for KerasClassifier
def create_model(learn_rate=0.01, momentum=0):
    # create model
    model = Sequential()
    model.add(Dense(12, input_dim=8, activation='relu'))
    model.add(Dense(1, activation='sigmoid'))
    # Compile model
    optimizer = SGD(lr=learn_rate, momentum=momentum)
    model.compile(loss='binary_crossentropy', optimizer=optimizer, metrics=['accuracy'])
    return model

# Early stopping
from keras.callbacks import EarlyStopping
stopper = EarlyStopping(monitor='val_acc', patience=3, verbose=1)

# fix random seed for reproducibility
seed = 7
numpy.random.seed(seed)
# load dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# create model
model = KerasClassifier(
    build_fn=create_model,
    epochs=100, batch_size=10,
    validation_split=0.1, # FIXME: Instead use GridSearchCV k-fold validation data.
    verbose=2)
# define the grid search parameters
learn_rate = [0.01, 0.1]
momentum = [0.2, 0.4]
param_grid = dict(learn_rate=learn_rate, momentum=momentum)
grid = GridSearchCV(estimator=model, param_grid=param_grid, verbose=2, n_jobs=1)

# Fitting parameters
fit_params = dict(callbacks=[stopper])
# Grid search.
grid_result = grid.fit(X, Y, **fit_params)

# summarize results
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
means = grid_result.cv_results_['mean_test_score']
stds = grid_result.cv_results_['std_test_score']
params = grid_result.cv_results_['params']
for mean, stdev, param in zip(means, stds, params):
    print("%f (%f) with: %r" % (mean, stdev, param))

Answer 1

[问题编辑和澄清后回答:]

在急于解决实现问题之前，花一些时间思考方法和任务本身始终是一个好习惯；可以说，将早期停止与交叉验证过程混合在一起不是一个好主意。

让我们举一个例子来强调这个论点。

假设您确实使用 100 个时期的早期停止和 5 倍交叉验证 (CV) 来进行超参数选择。还假设您最终得到的超参数集 X 提供了最佳性能，例如 89.3% 的二元分类准确率。

现在假设您的第二佳超参数集 Y 的准确度为 89.2%。仔细检查各个 CV 折叠，您会发现，对于最好的情况 X，5 个 CV 折叠中的 3 个耗尽了最大 100 个时期，而在另外 2 个早期停止中，分别在 95 和 93 个时期开始。

现在想象一下，检查您的第二佳集合 Y，您会再次看到 5 个 CV 折叠中的 3 个耗尽了 100 个 epoch，而另外 2 个都在大约 80 个 epoch 处足够早地停止了。

从这样的实验中你会得出什么结论？

可以说，您会发现自己处于一种不确定的境地；进一步的实验可能会揭示哪个实际上是最好的超参数集，当然，前提是您首先想到要研究结果的这些细节。不用说，如果所有这些都是通过回调自动完成的，那么您可能会错过最佳模型，尽管您实际上尝试过。

<小时/>

整个 CV 思想隐含地基于“所有其他都相同”的论点(当然，这在实践中永远不会成立，只是以最佳可能的方式近似)。如果您认为 epoch 的数量应该是一个超参数，只需将其明确地包含在您的 CV 中，而不是将其通过提前停止的后门插入，从而可能会损害整个过程(更不用说提前停止本身有一个超参数，耐心)。

不混合这两种技术当然并不意味着您不能按顺序使用它们:一旦您通过 CV 获得了最佳超参数，您就可以在将模型拟合到您的模型中时始终采用早期停止。整个训练集(当然前提是您有一个单独的验证集)。

<小时/>

深度神经网络领域仍然(非常)年轻，而且确实尚未建立其“最佳实践”指南；添加一个事实，由于有一个令人惊叹的社区，开源实现中提供了各种各样的工具，并且您很容易发现自己处于(不可否认的诱人的)混合事物的位置，只是因为它们碰巧可用。我不一定是说这就是您在这里尝试做的事情 - 我只是敦促在组合可能并非旨在协同工作的想法时更加谨慎......