scala - Spark : count percentage percentages of a column values

Question

我正在努力提高我的 Spark Scala 技能，但我遇到了这个案例，我找不到操作方法，所以请指教!

我有原始数据，如下图所示:

我想计算计数列每个结果的百分比。例如。最后一个错误值为 64，64 在所有列值中所占的百分比是多少。请注意，我正在使用 sqlContext 将原始数据读取为 Dataframes:这是我的代码:

    val df1 = df.groupBy(" Code")
.agg(sum("count").alias("sum"), mean("count")
.multiply(100)
.cast("integer").alias("percentag‌​e")) 

我想要与此类似的结果:

提前致谢!

Answer 1

使用agg和窗口函数:

import org.apache.spark.sql.expressions._
import org.apache.spark.sql.functions._

df
  .groupBy("code")
  .agg(sum("count").alias("count"))
  .withColumn("fraction", col("count") /  sum("count").over())