deep-learning - double 与单精度神经网络的最终精度

Question

我想知道是否有人有过在 CIFAR10 或 ILSVRC-2012 数据集上训练深度神经网络并比较单精度和 double 计算的最终结果的经验？

Answer 1

无法发表评论，但这不是答案，更多的只是信息和实验。我认为这个问题很难测试，因为使用 64 位将需要 CPU 而不是 GPU，并且会大大增加运行时间。

首先是 Google 的 Vincent Vanhoucke 关于这个主题的论文:http://static.googleusercontent.com/media/research.google.com/en/us/pubs/archive/37631.pdf .本文的重点是优化 cpus 上的深度网络，并且大量的优化是使用“定点 SIMD”指令，正如下一个链接中所解释的那样，它相当于 8 位精度(除非我弄错了)。这篇论文的解释可以在 http://petewarden.com/2015/05/23/why-are-eight-bits-enough-for-deep-neural-networks/ 找到。 .

根据我自己的经验，我对我的输入使用了 16 位精度，而不是深度 Q 学习的 32 位精度，我发现性能没有差异。我不是低级计算方面的专家，但额外的数字真正有什么帮助？训练的重点是最大限度地提高网络分配正确类别的概率(即 95%+ 的 softmax 输出)。 0.0001 的 +- 差异不会改变预测的类别。