scala - 在执行 pivot spark 之前分组并查找计数

Question

我有一个像下面这样的数据框

A   B   C       D
foo one small   1
foo one large   2
foo one large   2
foo two small   3

我需要根据 A 和 B pivot 对 C 列进行groupBy，并对 D 列进行sum

我可以用

df.groupBy("A", "B").pivot("C").sum("D") 

但是我还需要在 groupBy 之后找到 count ，如果我尝试类似的东西

df.groupBy("A", "B").pivot("C").agg(sum("D"), count)

我得到类似的输出

A   B   large   small large_count small_count

有没有办法在pivot之前在groupBy之后只得到一个count

Answer 1

关于输出尝试

output.withColumn("count", $"large_count"+$"small_count").show

如果需要，您可以删除两个计数列

在枢轴尝试之前做df.groupBy("A", "B").agg(计数("C"))