python - 使用 cifar 100 数据预训练 cifar 10 网络

Question

为了进行微调，您将使用 CIFAR-100 数据集“bus”和“tiger”类的数据。你的任务是找出如何微调预训练的 CNN 模型，使用训练数据(我认为每个类 500 个图像)“bus”和“tiger”类来微调网络，并用相同2类的测试数据(每类100张图像)验证准确性。可以对选定的内容进行微调预训练模型的层数。微调最后一层、最后两层、最后三层时需要记录测试精度层、最后四层和所有五层

我的第一个问题如何仅使用 cifar100 中的巴士和老虎并训练模型？第二个问题是如何微调最后一层、最后两层等。

我正在 cifar 10 上进行预训练，然后想在总线和 Tiger 上使用从 cifar100 到finetune 的功能。

Answer 1

my first question how do I use only bus and tiger from cifar100 and train the model?

实际上这取决于你想要实现什么。请注意，在 CIFAR10 中没有 Tiger 或 Bus 类。您可以使用 CIFAR10 上的预训练网络仅为两个类(老虎和公共(public)汽车)创建一个新的分类器，或者将它们添加到现有的 10 个类中，结果您将获得 12 个类的分类器。在这两种情况下，您都必须将最后一层的大小从 10 修改为 2 或 12。

您只需从 CIFAR100 集合中提取那些可能使用其标签代表老虎或公共(public)汽车的图片，并将它们添加到您的训练集中。

Second question is how do I finetune last layer, last two layers, etc.

您可以卡住不想在训练期间修改的图层。卡住意味着该层的权重在训练过程中不会被损失函数的梯度更新。

如何执行此操作取决于您使用的框架。例如，在 Keras 中，您可以将不想训练的层的 trainable 参数设置为 false。请参阅下面的示例，了解如何卡住简单 CNN 中除最后两层之外的所有层。

from keras import Sequential
from keras.layers import Conv2D, Flatten, Dense

model = Sequential()
model.add(Conv2D(64, kernel_size=3, activation='relu', input_shape=(32, 32, 3)))
model.add(Conv2D(32, kernel_size=3, activation='relu'))
model.add(Conv2D(16, kernel_size=3, activation='relu'))
model.add(Flatten())
model.add(Dense(100, activation='relu'))
model.add(Dense(10, activation='softmax'))

for layer in model.layers[:-2]:
    layer.trainable = False