python - 在tensorflow中利用高精度gpus

Question

嗨，我正在阅读 using GPUs page在 tensorflow 中，我想知道 gpu 精度性能是否曾经是 tensorflow 的一个因素。例如给定一台有两张卡片的机器，

gaming gpu

+

workstation gpu

是否有任何实现可以提供工作站卡更高精度的性能来克服较慢的时钟速度？

我不确定这些情况是否会存在于训练后梯度体面或网络性能的背景下或其他地方，但我很想获得有关该主题的更多信息!

提前致谢。

Answer 1

长话短说

实际情况恰恰相反。 TensorFlow 等框架不太需要更高精度的计算。这是由于训练速度较慢和模型较大(更多 ram 和磁盘空间)。

长版

神经网络实际上受益于使用较低精度的表示。 This paper是对该主题的一个很好的介绍。

The key finding of our exploration is that deep neural networks can be trained using low-precision fixed-point arithmetic, provided that the stochastic rounding scheme is applied while operating on fixed-point numbers.

他们使用 16 位定点数而不是更高进动的 32 位 float (更多关于它们差异的信息 here)。

下图取自那篇论文。它显示了不同舍入方案的测试误差以及专用于定点表示的整数部分的位数。如您所见，红色和蓝色实线(16 位固定)与黑色线(32 位浮点)有非常相似的错误。

降低精度的主要好处/驱动因素是计算成本和权重存储。因此，更高精度的硬件不会提供足够的精度提升来抵消较慢计算的成本。

我相信像这样的研究是神经网络特定处理硬件规范背后的一个重要驱动因素，例如 Google's new TPU .尽管大多数 GPU 不支持 16 位 float ，但 Google 是 working to support it .