machine-learning - 如何使用全卷积网络在 Cifar10 上获得最先进的结果？

Question

我试图复制 Striving for Simplicity: The All Convolutional Net 的结果但我似乎做不到。我已经从 StefOe 提供的实现中复制了所有超参数我不知道该怎么办。我得到 ~0.2 错误而不是 ~0.1。有人能够在 Pytorch 上复制这个结果吗？

训练看起来很好，所以我不确定出了什么问题:

<小时/>

其他相关链接:

https://discuss.pytorch.org/t/pytorch-net-from-striving-for-simplicity-the-all-convolutional-net/19297/2

<小时/>

代码:

https://github.com/StefOe/all-conv-pytorch/blob/master/allconv.py

https://github.com/StefOe/all-conv-pytorch/blob/master/cifar10.ipynb

Answer 1

当使用 lr 0.01、动量 0.9 和批量大小 32 的 SGD 时，您至少可以获得 13% 的错误。我使用实现中给出的数据增强。在论文中，还使用了 0.001 的权重衰减。对我来说这导致了 14%。因此，该实现使用不同的学习率，并且也不使用白化和对比度归一化。也许后两项是达到 7.25% 的关键。

无论如何，结果非常奇怪，因为如果没有数据增强，网络应该已经达到 9.08%。