scala.math.BigDecimal : 1. 2 和 1.20 相等

Question

如何在将 Double 或 String 转换为 scala.math.BigDecimal 时保持精度和尾随零？

用例 - 在 JSON 消息中，属性为字符串类型，值为“1.20”。但是在 Scala 中读取此属性并将其转换为 BigDecimal 时，我失去了精度并将其转换为 1.2

Answer 1

@Saurabh 真是个好问题!分享用例至关重要!
我认为我的答案可以以最安全有效的方式解决它......简而言之:
使用jsoniter-scala精确解析BigDecimal值。
任何数字类型的 JSON 字符串的编码/解码都可以由每个编解码器或每个类字段定义。请看下面的代码:
将依赖项添加到您的 build.sbt 中:

libraryDependencies ++= Seq(
  "com.github.plokhotnyuk.jsoniter-scala" %% "jsoniter-scala-core"   % "2.0.1",
  "com.github.plokhotnyuk.jsoniter-scala" %% "jsoniter-scala-macros" % "2.0.1" % Provided // required only in compile-time
)

定义数据结构，为根结构派生编解码器，解析响应主体并将其序列化:

import com.github.plokhotnyuk.jsoniter_scala.core._
import com.github.plokhotnyuk.jsoniter_scala.macros._

case class Response(
  amount: BigDecimal,
  @stringified price: BigDecimal)
    
implicit val codec: JsonValueCodec[Response] = JsonCodecMaker.make {
  CodecMakerConfig
    .withIsStringified(true) // switch it on to stringify all numeric and boolean values in this codec
    .withBigDecimalPrecision(34) // set a precision to round up to decimal128 format: java.math.MathContext.DECIMAL128.getPrecision
    .withBigDecimalScaleLimit(6178) // limit scale to fit the decimal128 format: BigDecimal("0." + "0" * 33 + "1e-6143", java.math.MathContext.DECIMAL128).scale + 1
    .withBigDecimalDigitsLimit(308) // limit a number of mantissa digits to be parsed before rounding with the specified precision
}
  
val response = readFromArray("""{"amount":1000,"price":"1.20"}""".getBytes("UTF-8"))
val json = writeToArray(Response(amount = BigDecimal(1000), price = BigDecimal("1.20")))

将结果打印到控制台并验证它们:

println(response)
println(new String(json, "UTF-8"))

Response(1000,1.20)
{"amount":1000,"price":"1.20"}   

为什么建议的方法是安全的？
嗯... Parsing of JSON is a minefield ，特别是当你在那之后有精确的 BigDecimal 值时。大多数用于 Scala 的 JSON 解析器使用 Java 的字符串表示构造函数来完成它，该构造函数具有 O(n^2) 复杂性(其中 n 是尾数中的数字)并且不会将结果四舍五入到 MathContext 的安全选项(默认情况下， MathContext.DECIMAL128 值用于在 Scala 的 BigDecimal 构造函数和操作中)。
它为接受不可信输入的系统引入了低带宽 DoS/DoW 攻击下的漏洞。下面是一个简单的例子，它如何在 Scala REPL 中使用类路径中最流行的 Scala JSON 解析器的最新版本进行复制:

...
Starting scala interpreter...
Welcome to Scala 2.12.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_222).
Type in expressions for evaluation. Or try :help.

scala> def timed[A](f: => A): A = { val t = System.currentTimeMillis; val r = f; println(s"Elapsed time (ms): ${System.currentTimeMillis - t}"); r } 
timed: [A](f: => A)A

scala> timed(io.circe.parser.decode[BigDecimal]("9" * 1000000))
Elapsed time (ms): 29192
res0: Either[io.circe.Error,BigDecimal] = Right(999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999999...

scala> timed(io.circe.parser.decode[BigDecimal]("1e-100000000").right.get + 1)
Elapsed time (ms): 87185
res1: scala.math.BigDecimal = 1.0000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000...

对于当代的 1Gbit 网络，10 毫秒内接收带有 100% 数字的恶意消息可以在单核上产生 29 秒的 100% CPU 负载。可以在全带宽速率下对超过 256 个内核进行有效的 DoS 防护。如果后续的 + 或 - 操作与 Scala 2.12.8 一起使用，最后一个表达式演示了如何使用带有 13 字节数字的消息将 CPU 内核烧毁约 1.5 分钟。
而且，jsoniter-scala 会处理 Scala 2.11.x、2.12.x 和 2.13.x 的所有这些情况。
为什么它是最有效的？
下面是在解析 128 个小(最多 34 位尾数)值和中等(具有 128 位尾数)值的数组期间，不同 JVM 上 Scala 的 JSON 解析器的吞吐量(每秒操作数，越大越好)结果图表尾数)相应地 BigDecimal 的值:


jsoniter-scala 中的 The parsing routine for BigDecimal :

使用 BigDecimal 值和紧凑表示的小数(最多 36 位)

对 37 到 284 位的中号使用更高效的热循环

切换到递归算法，该算法对于超过 285 位数字的值具有 O(n^1.5) 复杂性

而且，jsoniter-scala直接将JSON从UTF-8字节解析并序列化到您的数据结构，然后再返回，并疯狂地快速完成它，而无需使用运行时反射，中间AST，字符串或哈希映射，只需最少的分配和复制即可。请参阅 here 不同数据类型的 115 个基准测试结果以及 GeoJSON、Google Maps API、OpenRTB 和 Twitter API 的真实消息示例。