c++ - 为什么没有 2 字节浮点并且已经存在实现？

Question

假设我确实内存不足并且想要较小的范围(类似于 short 与 int)。着色器语言已经支持 half 具有一半精度的浮点类型(不仅仅是来回转换值在 -1 和 1 之间，即返回一个像这样的 float :shortComingIn/maxRangeOfShort)。是否已经存在 2 字节 float 的实现？

我也有兴趣了解为什么没有 2 字节 float 的任何(历史？)原因。

Answer 1

TL;DR:16 位 float 确实存在，并且有各种软件和硬件实现

目前有 2 种常见的标准 16 位浮点格式:IEEE-754 binary16 和 Google 的 bfloat16。由于它们是标准化的，显然任何了解规范的人都可以编写实现。一些例子:

• https://github.com/ramenhut/half
• https://github.com/minhhn2910/cuda-half2
• https://github.com/tianshilei1992/half_precision
• https://github.com/acgessler/half_float

或者如果你不想使用它们，你也可以设计一个不同的16位浮点格式并实现它

<小时/>

一般不使用 2 字节 float ，因为即使 float 的精度也不足以进行正常操作，并且默认情况下应始终使用 double ，除非您受到以下限制带宽或缓存大小。在 C 和类 C 语言中使用时，浮点文字在不带后缀的情况下也是 double 的。参见

• Why are double preferred over float?
• Should I use double or float?
• When do you use float and when do you use double

但是less-than-32-bit floats do exist 。它们主要用于存储目的，例如在图形中，每像素 96 位(每 channel 32 位 * 3 个 channel )太浪费了，并且将转换为正常的 32 位 float 计算(某些特殊硬件除外)。各种10, 11, 14-bit float types存在于OpenGL中。许多 HDR 格式对每个 channel 使用 16 位浮点，而 Direct3D 9.0 以及 Radeon R300 和 R420 等一些 GPU 则采用 24 位浮点格式。 compilers in some 8-bit microcontrollers 也支持 24 位 float 像PIC其中 32 位浮点支持成本太高。 8 位或更窄的浮点类型用处不大，但由于其简单性，它们经常在计算机科学类(class)中教授。另外，ARM's instruction encoding中还使用了一个小浮子。对于小浮点立即数。

IEEE 754-2008 revision正式添加了 16 位浮点格式，又名 binary16 或 half-precision ，带有 5 位指数和 11 位尾数

一些编译器支持 IEEE-754 二进制 16，但主要用于转换或向量化运算，而不是用于计算(因为它们不够精确)。例如ARM的工具链有__fp16可以在 2 种变体之间进行选择:IEEE 和替代，具体取决于您是否需要更多范围或 NaN/inf 表示。 GCC和 Clang还支持 __fp16 以及标准化名称 _Float16。请参阅How to enable __fp16 type on gcc for x86_64

最近由于AI的兴起，另一种格式叫做bfloat16 ( brain floating-point format )，这是 IEEE-754 二进制 32 的前 16 位的简单截断变得常见

The motivation behind the reduced mantissa is derived from Google's experiments that showed that it is fine to reduce the mantissa so long it's still possible to represent tiny values closer to zero as part of the summation of small differences during training. Smaller mantissa brings a number of other advantages such as reducing the multiplier power and physical silicon area.

• float32: 24²=576 (100%)
• float16: 11²=121 (21%)
• bfloat16: 8²=64 (11%)

许多编译器如 GCC和 ICC现在还获得了支持 bfloat16 的能力

有关 bfloat16 的更多信息:

• bfloat16 - Hardware Numerics Definition
• Using bfloat16 with TensorFlow models
• What is tf.bfloat16 "truncated 16-bit floating point"?

如果 bfloat16 不够用，还会出现一种名为 TensorFloat 的新 19 位类型。