python - 对于相同的 Keras 模型和数据，精度低于 AUC

Question

关闭。这个问题需要多问 focused 。目前不接受答案。

---

想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post .

已关闭 4 年前。

Improve this question

我有一个奇怪的 Keras 分类行为。

使用交叉验证与保留集时，我得到了不同的准确度。

2个相同的模型，但评估方法不同:

• 模型 1 使用 10-Kfold 交叉验证(平均 AUC 为 0.98，最低 AUC 为 0.89)。
• 模型 2 使用保持集(精度 0.82)

我预计模型 2 的最差准确率是最低的折叠准确率(0.89 而不是 0.82)。

小尺寸数据~10k x 13

K折:10折

模型1:

def create_baseline():
    # create model
    model = models.Sequential()
    model.add(layers.Dense(64, input_dim=set_1.iloc[:,0:-1].shape[1], activation='relu'))
    model.add(layers.Dense(64, activation='relu'))
    model.add(layers.Dense(1, activation='sigmoid'))
    model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
    return model

这是我的代码的重要部分(其余部分与绘制 ROC 有关):

注意:我尝试过有标准化和没有标准化的情况

estimators = []
estimators.append(('standardize', MinMaxScaler()))
estimators.append(('mlp', KerasClassifier(build_fn=create_baseline, nb_epoch=1000, batch_size=1000, verbose=0)))
pipeline = Pipeline(estimators)
cv = StratifiedKFold(n_splits=10)
classifier = pipeline
mean_tpr = 0.0
mean_fpr = np.linspace(0, 1, 100)

colors = cycle(['cyan', 'indigo', 'seagreen', 'yellow', 'blue', 'darkorange'])
lw = 2
i = 0
for (train, test), color in zip(cv.split(X, y), colors):
    classifier.fit(X[train], y[train])
    probas_ = classifier.predict_proba(X[test])
    fpr, tpr, thresholds = roc_curve(y[test], probas_[:, 1])
    mean_tpr += interp(mean_fpr, fpr, tpr)
    mean_tpr[0] = 0.0
    roc_auc = auc(fpr, tpr)
    plt.plot(fpr, tpr, lw=lw, color=color,
             label='ROC fold %d (area = %0.2f)' % (i, roc_auc))

    i += 1

输出:

如您所见，我的平均 ROC 为 0.98。

问题:

模型2:

std = MinMaxScaler()
X_norm = std.fit_transform(X)
X_train_norm, X_test_norm, y_train_norm, y_test_norm = train_test_split(X_norm, y, test_size=0.1, random_state=5)

Keras 模型

model_2 = models.Sequential()
model_2.add(layers.Dense(64, activation='relu', input_shape=(X_train.shape[1],)))
model_2.add(layers.Dense(64, activation='relu'))
model_2.add(layers.Dense(1, activation='sigmoid'))
model_2.compile(optimizer='adam',
loss='binary_crossentropy',
metrics=['accuracy'])

运行模型:

history = model_2.fit(X_train_norm,
y_train_norm,
epochs=1000,
batch_size=1000,
validation_data=(X_test_norm, y_test_norm))

结果(最后一次迭代):

8988/8988 [==============================] - 0s - loss: 0.3517 - acc: 0.8249 - val_loss: 0.3701 - val_acc: 0.7954
Epoch 997/1000
8988/8988 [==============================] - 0s - loss: 0.3516 - acc: 0.8238 - val_loss: 0.3699 - val_acc: 0.8059
Epoch 998/1000
8988/8988 [==============================] - 0s - loss: 0.3516 - acc: 0.8250 - val_loss: 0.3694 - val_acc: 0.8038
Epoch 999/1000
8988/8988 [==============================] - 0s - loss: 0.3512 - acc: 0.8241 - val_loss: 0.3692 - val_acc: 0.7975
Epoch 1000/1000
8988/8988 [==============================] - 0s - loss: 0.3504 - acc: 0.8247 - val_loss: 0.3696 - val_acc: 0.7975

​为什么模型2的性能低于模型1？

注意:- 相同的数据、keras 模型类型和种子，但结果不同!- 我在有和没有标准化的情况下以及使用相同和不同的种子进行了多次测试，但我仍然遇到同样的问题。- 我知道我可以使用更简单的模型，但我的问题与使用 Keras 分类器有关。

如果我做错了什么，请纠正我。

Answer 1

你看起来有点困惑......

Why the performance of model2 is lower than model1?

事实并非如此；准确地说，您的结果中没有任何内容表明它较低或较高。

2 Identical models but with different evaluation methods

您不仅使用不同的评估方法(CV 与验证集)，还使用不同的指标:比较 ROC 曲线下的面积，即 AUC(模型 1)与准确度(模型 2) )就像比较苹果和橙子...

这些指标不仅不同，而且根本不同，并且用于完全不同的目的:

• 准确性隐含地涉及应用于计算概率的阈值；粗略地说，对于二元分类，当计算出的样本概率高于该阈值时，该样本被分类为1，否则被分类为0。应用此阈值后计算准确度，结果为 0 或 1(我的 this answer 详细解释了该过程)。通常(在您的情况下)，此阈值隐式设置为 0.5。

• ROC 曲线(和 AUC)不涉及最终的“硬”分类 (0/1)，而是涉及前一阶段，即模型给出的计算概率，以及它们实际上给出了二元分类器的聚合性能在所有可能的阈值上的平均值。因此，ROC 和 AUC 对于最终部署的模型几乎没有什么可说的，该模型始终包含上述决策阈值，而 ROC 曲线本身没有提及哪个选择的阈值(有关更详细的说明，请参阅 here)。

更新(在评论中进行了长时间的讨论，不幸的是，这无助于澄清事情):

为了让自己相信情况正如我所解释的那样，请尝试执行模型 1 CV，但报告准确度而不是 ROC；这将恢复此类调查所必需的所有其他条件相同的条件。您会发现准确度确实与模型 2 的准确度相当。

Please correct me if I am doing something wrong.

你不能说我没有尝试过...