c++ - 浮点优化 - 指南

Question

我们需要通过在 C/C++ 中实现特定算法来解决的大多数科学计算问题都需要远低于 double 的精度。例如，1e-6、1e-7 精度涵盖了 ODE 求解器或数值积分的 99% 情况。即使在我们确实需要更高精度的极少数情况下，通常数值方法本身在我们梦想达到接近 double 的精度之前都会失败。示例:由于舍入误差，即使在求解标准的 nostiff 常微分方程时，我们也不能期望简单的 Runge-Kutta 方法具有 1e-16 的精度。在这种情况下， double 要求类似于要求对错误答案有更好的近似值。

然后，在大多数情况下，激进的浮点优化似乎是双赢的局面，因为它可以使您的代码更快(快得多!)，并且不会影响特定问题的目标准确性。也就是说，要确保特定的实现/代码对 fp 优化保持稳定似乎非常困难。经典(并且有些令人不安)的例子:GSL，GNU 科学库，不仅是市场上的标准数值库，而且它是一个写得很好的库(我无法想象自己做得更好)。然而，GSL 对 fp 优化并不稳定。事实上，例如，如果您使用 intel 编译器编译 GSL，那么它的内部测试将失败，除非您打开关闭 fp 优化的 -fp-model strict 标志。

因此，我的问题是:是否有编写代码的一般准则，以应对激进的浮点优化。这些指南是否特定于语言(编译器)。如果是这样，C/C++ (gcc/icc) 最佳实践是什么？

注意 1:这个问题不是问 gcc/icc 中的 fp 优化标志是什么。

注意 2:这个问题不是在询问 C/C++ 优化的一般准则(比如不要对被大量调用的小函数使用虚函数)。

注意 3:这个问题不是询问大多数标准 fp 优化的列表(如 x/x -> 1)。

注 4:我坚信这不是一个类似于经典“最酷的服务器名称”的主观/题外话问题。如果您不同意(因为我没有提供具体的示例/代码/问题)，请将其标记为社区 wiki。我对答案比获得一些状态点更感兴趣(不是它们不重要 - 你明白了!)。

Answer 1

编译器制造商通过断言这些优化对 numerically stable algorithms 的影响来证明 -ffast-math 类型的优化是合理的。是最小的。

因此，如果您想编写对这些优化具有鲁棒性的代码，充分条件是只编写数值稳定的代码。

现在您的问题可能是“我如何编写数值稳定的代码？”。这是您的问题可能有点宽泛的地方:有整本专门针对该主题的书籍。我已经链接到的维基百科页面有一个很好的例子，here是另一个很好的。我不能特别推荐一本书，这不是我的专业领域。

注 1:数值稳定性的可取性超出了编译器优化。如果您有选择，即使您不打算使用 -ffast-math 风格的优化，也要编写数值稳定的代码。即使使用严格的 IEEE 754 浮点语义编译，数值不稳定的代码也可能提供错误的结果。

注意 2:当使用 -ffast-math 样式标志编译时，您不能期望外部库能够工作。这些由浮点专家编写的库可能需要利用 IEEE 754 计算的特性来玩一些微妙的技巧。 -ffast-math 优化可能会破坏这种技巧，但即使您允许编译器，它们也会比您期望的编译器提高性能。对于浮点计算，具有领域知识的专家每次都胜过编译器。其中一个例子是 CRlibm 中的三双实现。 .如果未使用严格的 IEEE 754 语义编译此代码，则会中断。编译器优化破坏的另一个更基本的算法是Kahan summation。 : 当使用不安全优化编译时，c = (t - sum) - y 被优化为 c = 0。当然，这完全违背了算法的目的。