machine-learning - 使用 Keras 进行迁移学习，验证准确性不会从一开始就提高(超出原始基线)，而训练准确性会提高

Question

我正在为 Food-101 数据集(具有 101 个类的图像数据集和每个类 1k 个图像)构建分类器。我的方法是使用 Keras 并通过 ResNet50(来自 imagenet 的权重)进行迁移学习。

在训练模型时，训练准确率在几个 epoch 内有一定程度的提高 (30%-->45%)，但验证准确率基本保持在 0.9-1.0%。我尝试过简化、交换优化器、减少和增加隐藏层中的单元、去除所有图像增强以及在 flow_from_directory() 上设置一致的随机种子。

当我查看模型在验证集上所做的预测时，它始终是同一类。

我感觉该模型并没有过度拟合到可以解释验证准确性缺乏变化的程度。

任何提高验证准确性的建议都将不胜感激。

作为引用，下面是相关的代码片段:

datagen = ImageDataGenerator(rescale=1./255, validation_split=0.2)

train_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='training', target_size=(256,256))
# prints "60603 images belonging to 101 classes"
val_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='validation', target_size=(256,256)) 
# prints "15150 images belonging to 101 classes"

train_steps = len(train_datagen) #1894
val_steps = len(val_datagen) #474
classes = len(list(train_datagen.class_indices.keys())) #101

conv_base = ResNet50(weights='imagenet', include_top=False, pooling='avg', input_shape=(256, 256, 3))

from keras.layers import GlobalAveragePooling2D
from keras.layers import Dropout
from keras.layers import Flatten
from keras.layers import BatchNormalization

model = Sequential()

model.add(conv_base)
model.add(BatchNormalization())
model.add(Dropout(0.2))
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(classes, activation='softmax'))

conv_base.trainable = False

from keras.optimizers import Adam

model.compile(loss='categorical_crossentropy',
              optimizer=Adam(),
              metrics=['acc','top_k_categorical_accuracy'])

history = model.fit_generator(
    train_datagen,
    steps_per_epoch=train_steps,
    epochs=5,
    verbose=2,
    validation_data=val_datagen,
    validation_steps=val_steps
)

这是 .fit_generator() 的结果:

• 纪元 1/5
  • 724s - 损失:3.1305 - acc:0.3059 - top_k_categorical_accuracy:0.5629 - val_loss:6.5914 val_acc:0.0099 - val_top_k_categorical_accuracy:0.0494
• 纪元 2/5
  • 715s - 损失:2.4812 - acc:0.4021 - top_k_categorical_accuracy:0.6785 - val_loss:7.4093 - val_acc:0.0099 - val_top_k_categorical_accuracy:0.0495
• 纪元 3/5
  • 714s - 损失:2.3559 - acc:0.4248 - top_k_categorical_accuracy:0.7026 - val_loss:8.9146 - val_acc:0.0094 - val_top_k_categorical_accuracy:0.0495
• 时代 4/5
  • 714s - 损失:2.2661 - acc:0.4459 - top_k_categorical_accuracy:0.7200 - val_loss:8.0597 - val_acc:0.0100 - val_top_k_categorical_accuracy:0.0494
• 时代 5/5
  • 715s - 损失:2.1870 - acc:0.4583 - top_k_categorical_accuracy:0.7348 - val_loss:7.5171 - val_acc:0.0100 - val_top_k_categorical_accuracy:0.0483

这是 model.summary():

Layer (type)                 Output Shape              Param #   
=================================================================
resnet50 (Model)             (None, 2048)              23587712  
_________________________________________________________________
batch_normalization_1 (Batch (None, 2048)              8192      
_________________________________________________________________
dropout_1 (Dropout)          (None, 2048)              0         
_________________________________________________________________
dense_1 (Dense)              (None, 512)               1049088   
_________________________________________________________________
dropout_2 (Dropout)          (None, 512)               0         
_________________________________________________________________
dense_2 (Dense)              (None, 101)               51813     
=================================================================
Total params: 24,696,805
Trainable params: 1,104,997
Non-trainable params: 23,591,808
_________________________________________________________________

Answer 1

验证准确性低的原因与模型的构建方式有关。可以合理地期望迁移学习在这种情况下会运作良好。但是，您的前 1 名和前 5 名分别接近 1/101 和 5/101。这表明您的模型是偶然分类的，并且没有学习数据集的基础信号(特征)。因此，迁移学习在这种情况下不起作用。然而，这确实意味着它不会永远工作。

我重复了您的实验并获得了相同的结果，即 top-1 和 top-5 准确度反射(reflect)了随机选择的分类。然而，我随后解冻了 ResNet50 模型的层并重复了实验。这只是进行迁移学习的略微不同方式。经过 10 个 epoch 的训练后，我得到了以下结果:

时代 10/50591/591 [==============================] - 1492s 3s/步 - 损失:1.0594 - 精度:0.7459 - val_loss : 1.1397 - val_accuracy: 0.7143

这并不完美。然而，该模型尚未收敛，可以应用一些预处理步骤来进一步改进结果。

您观察的原因在于卡住的 ResNet50 模型是根据与 Food101 数据集根本不同的图像分布进行训练的。这种数据分布不匹配导致性能不佳，因为卡住网络执行的转换未针对 Food101 图像进行调整。解冻网络让神经元实际学习 Food101 图像，这有助于获得更好的结果。

希望对你有帮助。