gpt4 book ai didi

c++ - 为什么没有 2 字节 float 并且已经存在实现?

转载 作者:行者123 更新时间:2023-12-03 07:03:48 45 4
gpt4 key购买 nike

假设我真的很需要内存并且想要一个更小的范围(类似于 shortint)。着色器语言已经支持 half 用于具有一半精度的浮点类型(不仅仅是来回转换值在 -1 和 1 之间,也就是说,返回一个像这样的 float :shortComingIn/maxRangeOfShort)。是否已经存在 2 字节 float 的实现?

我也很想知道为什么没有 2 字节 float 的任何(历史?)原因。

最佳答案

TL;DR:16 位 float 确实存在,并且有各种软件和硬件实现

目前有 2 种常见的标准 16 位浮点格式:IEEE-754 binary16 和 Google 的 bfloat16。由于它们是标准化的,显然任何了解规范的人都可以编写实现。一些例子:

或者如果你不想使用它们,你也可以设计一个不同的16位浮点格式并实现


通常不使用 2 字节 float ,因为即使float 的精度对于正常操作也不够 并且 double 应该始终默认使用,除非你被限制带宽或缓存大小。在 C 和类 C 语言中不带后缀使用时,浮点文字也是 double。见

但是less-than-32-bit floats do exist .它们主要用于存储目的,例如在图形中,当每像素 96 位(每 channel 32 位 * 3 个 channel )浪费太多时,将被转换为正常的 32 位 float 计算(某些特殊硬件除外)。各种10, 11, 14-bit float types存在于 OpenGL 中。许多 HDR 格式为每个 channel 使用 16 位 float ,而 Direct3D 9.0 以及一些 GPU(如 Radeon R300 和 R420)具有 24 位 float 格式。 compilers in some 8-bit microcontrollers 也支持 24 位 float 。喜欢PIC其中 32 位浮点支持成本太高。 8 位或更窄的浮点类型用处不大,但由于它们的简单性,它们经常在计算机科学类(class)中教授。此外,ARM's instruction encoding中还使用了一个小 float 。用于小型浮点立即数。

IEEE 754-2008 revision官方添加了 16 位浮点格式,又名 binary16half-precision , 有一个 5 位指数和一个 11 位尾数

一些编译器支持 IEEE-754 binary16,但主要用于转换或矢量化操作,而不是用于计算(因为它们不够精确)。例如 ARM 的工具链有 __fp16可以在 2 个变体之间进行选择:IEEE 和替代,具体取决于您是想要更多范围还是 NaN/inf 表示。 GCCClang还支持 __fp16 以及标准化名称 _Float16。参见 How to enable __fp16 type on gcc for x86_64

最近由于人工智能的兴起,另一种格式叫做bfloat16 ( brain floating-point format ) 是 IEEE-754 binary32 前 16 位的简单截断变得普遍

The motivation behind the reduced mantissa is derived from Google's experiments that showed that it is fine to reduce the mantissa so long it's still possible to represent tiny values closer to zero as part of the summation of small differences during training. Smaller mantissa brings a number of other advantages such as reducing the multiplier power and physical silicon area.

  • float32: 242=576 (100%)
  • float16: 112=121 (21%)
  • bfloat16: 82=64 (11%)

许多编译器喜欢 GCCICC现在也获得了支持 bfloat16 的能力

关于 bfloat16 的更多信息:

在 bfloat16 不够用的情况下,还出现了一种名为 TensorFloat 的新 19 位类型。

关于c++ - 为什么没有 2 字节 float 并且已经存在实现?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60626480/

45 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com