java - Spark 支持 BigInteger 类型吗？

Question

我知道旧版本的 Spark 仅支持 java.math 中的 BigDecimal 类型。但我发现了这个拉取请求:https://github.com/apache/spark/pull/10125 。我尝试使用它，使用 BigInteger 类型没有任何问题。但在 the spark documentation仍然没有提到 BigInteger。那么，我可以安全地使用这种类型吗？

Answer 1

Spark 确实支持 Java BigIntegers，但可能会损失一些精度。如果 BigInteger 的数值适合 long(即 -2^63 和 2^63-1 之间)，那么 Spark 会将其存储为 LongType。否则它将存储为 DecimalType，但该类型仅支持 38 位精度。请参阅Decimal source code了解详情。