gpt4 book ai didi

excel - 比较VBA精度问题中的 double

转载 作者:行者123 更新时间:2023-12-01 18:07:05 24 4
gpt4 key购买 nike

我在 Excel VBA 中比较 2 个 double 时遇到问题

假设我有以下代码

Dim a as double
Dim b as double
a = 0.15
b = 0.01

对 b 进行一些操作后,b 现在等于 0.6

然而,与 double 据类型相关的不精确性让我头疼,因为

if a = b then
//this will never trigger
end if

你知道如何消除 double 类型的尾随不精确吗?

最佳答案

您无法比较浮点值是否相等。请参阅有关“Comparing floating point numbers ”的这篇文章,了解如何处理固有错误的讨论。

这并不像与恒定误差范围进行比较那么简单,除非您事先确定 float 的绝对范围是多少。

关于excel - 比较VBA精度问题中的 double ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/235409/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com