machine-learning - 训练深度学习模型时什么时候应该使用预训练权重？

Question

我对训练一系列图像和对象检测模型感兴趣，我想知道何时使用 VGG16 等网络的预训练权重的一般规则是什么。

例如，很明显，微调预训练的 VGG16 imagenet 模型权重有助于您寻找子集，即。猫和狗。

但是，如果您正在训练具有 300 个类的图像分类器，并且其中只有一些类是预训练模型中类的子集，那么我似乎不太清楚使用这些预训练权重是否是一个好主意。

这方面的直觉是什么？

Answer 1

较低层学习的特征不一定特定于您的应用程序/数据集:角、边缘、简单形状等。因此，您的数据是否严格是原始网络可以预测的类别的子集并不重要。

根据您有多少数据可用于训练，以及数据与预训练网络中使用的数据的相似程度，您可以决定卡住较低层并仅学习较高层，或者简单地训练分类器预训练网络的顶部。

检查here更详细的答案