scala - 如何在 Scala Spark 中四舍五入

Question

我有一个(大 ~ 100 万个)Scala Spark DataFrame，其中包含以下数据:

id,score
1,0.956
2,0.977
3,0.855
4,0.866
...

如何将分数离散/四舍五入到最接近的 0.05 小数位？

预期结果:

id,score
1,0.95
2,1.00
3,0.85
4,0.85
...

希望避免使用 UDF 来最大化性能。

Answer 1

答案可以更简单:

dataframe.withColumn("rounded_score", round(col("score"), 2))

有一个方法

def round(e: Column, scale: Int)

Round the value of e to scale decimal places with HALF_UP round mode