neural-network - 如何从训练有素的咖啡模型中删除不需要的连接？

Question

我训练了一个 fastercnn 模型来使用 caffe 检测图像中的人脸。我当前的模型大小是 530MB。我想减小模型的尺寸，所以我遇到了 Deep Compression宋涵.

我已经使用 Pycaffe 在我的模型中将不太重要的权重更新为 0。现在模型体积没有减小，如何从训练好的caffe模型中去除那些无关紧要的连接，使模型体积减小？

Answer 1

由于caffe中的Blob数据类型(数值数组的基本“容器”)不支持“稀疏”表示，用零替换权重不会改变存储复杂度:caffe仍然需要空间来存储这些零。这就是为什么您没有看到模型尺寸减小的原因。

为了修剪连接，您必须确保零遵循特定模式:例如，“InnerProduct” 的整行都是零 - 您可以消除前一层的一个维度，等

这些修改可以使用 net surgery 手动小心地进行。了解更多信息 here (此示例实际上是关于添加连接，但您可以应用相同的步骤来修剪连接)。

您可能会找到 SVD "trick"有助于降低模型的复杂性。