python - 如何保持 float / double 算术确定性？

Question

如果我们使用具有 double 和浮点运算的算法，我们如何保证在 Python 和 C、x86 和 x64 Linux 和 Windows 计算机以及 ARM 微 Controller 中运行结果相同？

我们使用的算法使用:

• 双 + 双
• double + float
• 双倍经验值(双倍)
• float * float

在同一台计算机上，为 x86 和 x64 MinGW 编译它会给出不同的结果。该算法涉及大量数学运算，因此任何小错误最终都会产生重大影响。

现在 ARM mcu 实现给出了与 x86 相同的结果，但在看到这个之后我不确定是否正确。

编辑

精度损失在这种情况下不是问题，只要它在所有实现中都相同

编辑 2

我发现这些链接非常有用，一些提示已经在评论中:

• Is floating point math deterministic?
• Floating point determinism

Answer 1

If we use algorithms with double and float arithmetic, how can we guarantee that the results are the same running it in Python and C, in x86 and x64 Linux and Windows computers and ARM microcontrollers?

一般来说，除非仔细实现您自己的 FP 操作，否则您无法做到这一点。如果您使用各种语言的标准运算符和库以及底层浮点硬件，则无法确保跨不同实现的结果的精确重现性。

首先， float 的内部表示存在问题。 C 没有指定要使用的表示形式，即使其他所有表示都相同，这也意味着您不能依赖在不同实现(例如 x86_64 和 ARM)上运行的相同 C 程序来计算相同的结果。

实际上，如今大多数人都使用 IEEE 754 浮点格式，而 CPython 使用底层 C 实现的 double 类型来支持其 float 。然而，即便如此，IEEE 也允许在一致的实现之间存在一定的少量差异。即使是要求严格符合 IEEE 规范的指令和编译选项也不能完全解决这个问题。

此外，您指定要在 C 和 Python 中同时处理 double 和 float，但 Python 没有 的原生模拟 float 。它的 native 浮点格式(可能)对应于 C double。对不同的 float 据类型执行的操作必然会产生不同的结果，即使操作数在数值上是等效的，并且这种差异可能会在类型转换中持续存在，例如将 double 结果转换为 float.

在(机器)代码生成级别还有其他细节需要考虑，例如是否或何时将中间结果从 FPU 寄存器复制到主内存(可能涉及舍入)以及操作顺序执行。

We re using an algorithm that uses:

double + double
double + float
double exp(double)
float * float

如果您想最小化计算值的差异，那么从选择一种 float 据类型开始，并在所有地方使用它。为了 Python 和 C 实现之间的一致性，它应该是 double。

您还应该考虑禁用所有可能改变 FP 操作评估顺序的优化。那可能就是所有的优化。如果您的 C 编译器中有可用的选项来强制执行严格的 IEEE 一致性，请打开这些选项。

您还应该在所有相关平台上测试 exp() 函数的等效性。您可能需要提供自己的实现。

---

无论您做什么，您都应该认识到，如果您的各种实现产生不同的结果，尽管它们在某种算法意义上都是正确的，那么这本身就是一个结果。它告诉您一些有关计算的真实精度的信息，如实现的那样。

您永远不要忘记，大多数计算机 FP 操作都会产生近似结果，因此即使您确实设法让所有实现产生相同的结果，这并不意味着这些结果在绝对意义上一定比其他结果更正确附近的 FP 值。如果数值一致性是一项要求，那么您应该根据结果的特定精度对其进行量化，以能够提供该精度的方式实现您的算法，并忽略精度高于所选精度的差异。