machine-learning - 微调与再训练

Question

所以我正在学习如何使用 Tensorflow 来微调自定义数据集的 Inception-v3 模型。

我找到了两个与此相关的教程。一个是关于“How to Retrain Inception's Final Layer for New Categories”，另一个是“ Train your own image classifier with Inception in TensorFlow with Fine tuning”。

我在虚拟机上做了第一个再训练教程，只花了 2-3 个小时就完成了。对于相同的花朵数据集，我正在 GPU 上进行第二次微调教程，大约花了一整天的时间来执行训练。

再训练和微调有什么区别？

我的印象是，两者都涉及使用预先训练的 Inception v3 模型，删除旧的顶层并在花朵照片上训练一个新的模型。但我的理解可能是错误的。

Answer 1

通常在机器学习文献中，我们将以下过程称为微调:

1. 保留经过训练的模型。模型=特征提取层+分类层
2. 删除分类层
3. 附加新的分类层
4. 端到端重新训练整个模型。

这允许从特征提取层权重的良好配置开始，从而在短时间内达到最佳值。

您可以将微调视为一种使用非常好的权重初始化方法来启动新列车的方法(尽管您必须初始化新的分类层)。

相反，当我们谈论模型的重新训练时，我们通常指的是以下过程:

1. 保留模型架构
2. 更改最后一个分类层以生成您想要分类的类数量
3. 端到端训练模型。

在这种情况下，您不会像上面那样从一个好的起点开始，而是从解决方案空间中的一个随机点开始。

这意味着您必须训练模型更长时间，因为初始解决方案不如预训练模型为您提供的初始解决方案。