cuda - NVIDIA GPU (sm_13) 上的 IEEE-754 标准

Question

如果我在主机和设备(GPU arch sm_13)上执行浮点(单精度)操作，那么值会不同吗？

Answer 1

whitepaper 中对此进行了很好的讨论。来自英伟达。基本上:

• 目前几乎所有东西都实现了 IEEE-754；
• 即使在忠实实现该标准之间，您仍然可以看到结果差异(众所周知，英特尔在内部使用 80 位实现 double )，或者编译器的高优化设置可能会改变结果
• 计算能力 2.0 及更高版本的 NVIDIA 卡支持单精度和 double 的 IEEE-754，只有非常小的警告
  • 某些操作不支持某些舍入模式 - 仅当您在代码中明确更改舍入模式时才相关
  • 融合乘法和加法有一些微妙之处
  • CUDA 还提供(稍微)较低精度但更快的几个操作实现，当然，如果您显式或隐式使用这些操作(带有编译器选项)，您自然不会获得完整的 ieee-754 结果
• 计算能力 1.3 卡支持 ieee-754 double 但不支持单精度； (单精度不支持非正规 - 例如非常小 - 数字、无 FMA、平方根和除法并不完全准确)
• 计算能力 1.2 卡只有单精度，并且不是完整的 ieee-754 如上所述。