python - 如何获得训练集和验证集的不同指标？

Question

我想估计 keras 中训练集和验证集的不同指标集。也就是说，我希望能够估计验证集上的 AUC，但不能估计训练集上的 AUC。 我发现有一种方法可以在我自己的回调中预测标签，但据我了解，每个验证周期已经对model.compile(..., metrics=[])中提供的损失和指标进行了一次评估，并且我的验证集不是那么小，我想避免两次运行分数预测。

有没有办法执行以下操作之一:

1. 请求 keras 仅评估 val 集上的特定指标

2. 在火车上评估之前通过返回 None 来欺骗 keras使用任何阶段标志设置

3. 检索验证集上预先评估的概率分数从回调函数中

或者还有其他技巧吗？

Answer 1

尝试:

class CustomLossHistory(keras.callbacks.Callback):
    def __init__(self, loss, validation_set):
        self.loss = loss
        self.validation_set = validation_set # validation_set = x, y

    def on_train_begin(self, logs={}):
        self.losses = []

    def on_batch_end(self, batch, logs={}):
        current_loss_val = loss(self.validation[1], 
            self.model.predict(validation[0])
        self.losses.append(current_loss_value) 
        # You could also print it out here.

auc_callback = CustomLossHistory(sklearn.metrics.roc_auc_score, val_set)
model.fit(...., callbacks=[auc_callback])

aucs = auc_callback.losses