machine-learning - 是否可以在没有数据的情况下基于旧网络训练新网络？

Question

是否可以在没有数据的情况下基于已训练的网络来训练新的较小网络？即新网络应该尝试模仿第一个网络的行为。

如果没有数据就不可能，那么已经训练好的网络有什么好处吗？也就是说，据我了解，至少我们可以将它用于伪标签。

更新:

我找到的最相关的论文:

https://arxiv.org/pdf/1609.02943.pdf

Answer 1

如果您不使用任何数据，我认为您不能说您正在训练网络。但你总是可以尝试得到一个更小的网络，例如通过修剪大型网络(在最简单的情况下，这意味着删除 l2 范数接近于零的权重)，有一个关于该主题的丰富文献。另外，我认为您可能会发现一些知识蒸馏方面的著作很有用，例如 Data-Free Knowledge Distillationfor Deep Neural Networks .