machine-learning - 深度学习基准测试在 16 位和 8 位定点精度下的表现如何？

Question

Alexnet 或 Google net 可以以 16 位和 8 位定点精度运行吗？假设我使用caffe框架。

Answer 1

有一个名为 Ristretto 的 Caffe 分支可以量化现有的经过训练的神经网络。

但我不确定是否可以通过“真正的”16 位量化在 Caffe 中执行推理。准确地说，神经网络的参数和激活可以是 16 或 8 位，但是值的中间累加(例如，在对卷积进行乘积求和时)可能仍然在 32 个浮点寄存器中执行(然后将其四舍五入并剪裁为16 或 8 位)。所以我不会称其为 100%“真实”的 16 位或 8 位实现。但它仍然给出了当切换到较低位量化时精度会如何下降的想法。