performance - 256位定点算法， future ？

Question

只是一些愚蠢的思考，但如果计算机能够有效地计算 256 位算术，比如说如果他们有一个 256 位架构，我认为我们将能够取消浮点数。我也想知道，是否有任何理由超越 256 位架构？我对此的基础相当薄弱，但我相信如果我错了，你会纠正我;) 这是我的想法:

您可以使用 256 位类型，将 127 或 128 位用于整数，127 或 128 位用于小数值，当然还有符号位。如果您的硬件能够毫无问题地计算、存储和移动如此大的数字，我想您已经准备好处理您遇到的任何计算了。

一个例子:如果你处理长度，并且你用米表示所有值，那么最小值 (2^-128 m) 将小于普朗克长度，最大值 (2^127 m) 将更大大于可观测宇宙的直径。想象一下以小于普朗克长度的精度计算光年的距离？

好吧，这只是一个例子，但我正在努力思考可能需要比这更大或更小的数字的任何情况。有什么想法吗？定点算术是否存在我没​​有考虑过的问题？创建 256 位架构是否存在问题？

Answer 1

SIMD 将使窄类型永远有值(value)。如果您可以执行 256 位加法，则可以在同一硬件上并行执行 8 个 32 位整数加法(通过不跨元素边界传播进位)。或者您可以进行 32 次 8 位添加。

Hardware multiplier circuits更宽的成本要高得多，因此假设 256b X 256b 乘法器可以实际构建并不是一个好的假设。

即使除了 SIMD 考虑之外，内存带宽/缓存占用也是一个很大的问题。

所以 4B float将继续非常出色，因为足够精确以供使用，但足够小以将许多元素打包到一个大向量中或缓存中。

浮点数还通过使用它的一些位作为指数来允许更广泛的数字。尾数 = 1.0，IEEE binary64 double 的范围从 2-1022 到 21023，对于“正常”数字(在整个范围内为 53 位尾数精度，对于非正规数(逐渐下溢)只会变得更糟)。您的建议仅处理从大约 2-127(精度为 1 位)到 2127(精度为 256b)的数字。

浮点数有 the same number of significant figures在任何幅度(直到您进入非常接近零的非正规数)，因为尾数是固定宽度。通常这是一个有用的属性，尤其是在乘法或除法时。见 Fixed Point Cholesky Algorithm Advantages举例说明为什么 FP 是好的。 (减去两个附近的数字是一个问题，虽然......)

尽管当前的 SIMD 指令集已经有 256b 个向量，但最宽的元素宽度是 64b 用于加法。 AVX2 的最宽乘法是 32bit * 32bit => 64bit。

AVX512DQ有 64b * 64b -> 64b(低半)vpmullq ，可能会出现在 Skylake-E (Purley Xeon) 中.

AVX512IFMA引入 52b * 52b + 64b => 64 位整数 FMA。 ( VPMADD52LUQ 低半部分和 VPMADD52HUQ 高半部分。) 52 位输入精度显然是可以的 use the FP mantissa multiplier hardware ，而不是需要单独的 64 位整数乘法器。 (64 位全乘法器的全矢量宽度甚至比 vpmullq 更昂贵。即使对于 64 位整数，像这样的折衷设计也应该是一个很大的暗示，宽乘法器很昂贵)。请注意，这也不是基线 AVX512F 的一部分，而且 may show up in Cannonlake ，基于 Clang git commit。

如果指令集是为它设计的(英特尔 SSE/AVX 不是)，则可以在 SIMD 中支持任意精度的加法/乘法(用于 RSA 等加密应用程序)。 Discussion on Agner Fog's recent proposal for a new ISA included an idea for SIMD add-with-carry .

要在 32 位或 64 位硬件上实际实现 256b 数学，请参阅 https://locklessinc.com/articles/256bit_arithmetic/和 https://gmplib.org/ .考虑到它很少需要，这真的没那么糟糕。

使用非常宽的整数寄存器构建硬件的另一个大缺点是，即使高位通常未使用，乱序执行硬件也需要能够处理使用它的情况。这意味着与具有 64 位寄存器的体系结构相比，物理寄存器文件要大得多(这很糟糕，因为它需要非常快且物理上靠近 CPU 的其他部分，并且具有许多读取端口)。例如Intel Haswell has 168-entry PRFs对于整数和 FP/SIMD。

FP 寄存器文件已经有 256b 个寄存器，所以我猜如果你要做这样的事情，你会用使用 SIMD 向量寄存器作为输入/输出的执行单元来做，而不是通过加宽整数寄存器。但是 FP/SIMD 执行单元通常不连接到整数进位标志，因此您可能需要一个单独的 SIMD 进位寄存器来进行 256b 加法。

Intel 或 AMD 已经可以实现一个指令/执行单元，用于在 xmm 或 ymm 寄存器中添加 128b 或 256b 整数，但他们没有。 (即使是加法，最大的 SIMD 元素宽度也是 64 位。只有 shuffle 将整个寄存器作为一个单元进行操作，然后才以字节粒度或更宽的粒度进行操作。)