apache-spark - Pyspark，按列中的唯一值对另一列中的某个值进行分组

Question

这个问题在这里已经有了答案:





Reshaping/Pivoting data in Spark RDD and/or Spark DataFrames

(6 个回答)


3年前关闭。




那个标题，太可怕了，对不起。这是我的意思:
这是起始数据集

C1   C2
AA   H
AB   M
AC   M
AA   H
AA   L
AC   L

然后它将变成一个具有 4 列的新数据集:

C1   CH   CM   CL
AA   2    0    1
AB   0    1    0
AC   0    1    1

Answer 1

您可以使用 pivot api 如下 groupBy和 agg和其他功能

from pyspark.sql import functions as F
finaldf = df.groupBy("C1").pivot("C2").agg(F.count("C2").alias("count")).na.fill(0)

你应该有 finaldf作为

+---+---+---+---+
| C1|  H|  L|  M|
+---+---+---+---+
| AA|  2|  1|  0|
| AB|  0|  0|  1|
| AC|  0|  1|  1|
+---+---+---+---+