machine-learning - 使用预训练网络(1 个分支)来初始化 caffe 中具有 2 个分支的网络中各层的权重

Question

我有一个具有两个相似分支的多任务网络和一个只有一个分支的预训练网络(也相同)。我想用预训练网络中的层的权重来初始化两个分支(在我的多任务网络中)中的层的权重。

现在，我可以通过使用与预训练网络中相同的层名称来正确初始化其中一个分支。但是，我必须保持另一个分支中的层名称不同，因此这些层不会采用预先训练的权重。

此外，我不想共享两个分支中的权重。因此，给两个分支中相应层的权重赋予相同的名称是行不通的。

有没有一个好的方法/技巧来做到这一点？

PS:我想避免网络手术，但也欢迎任何评论，解释一个好的方法来做到这一点。

澄清:我只想用相同的权重初始化两个分支。他们可以在训练阶段学习不同的权重，因为它们受到不同的损失层的控制。

Answer 1

answer Przemak D 的作者是实现上述目的的一个很好的技巧。

1. 为两个分支中的层指定不同的名称并启用权重共享
2. 初始化网络并训练 1-2 次迭代
3. 然后训练原始网络(不共享权重)，并使用步骤 2 后获得的 caffemodel 初始化权重。

上面是一个很好的技巧，但是网络手术是更好的方法。