apache-spark - Spark DataFrame 通过键将列值聚合到 List 中

Question

我有一个 DataFrame看起来像这样:

+-----------------+-------+
|Id               | value |
+-----------------+-------+
|             1622| 139685|
|             1622| 182118|
|             1622| 127955|
|             3837|3224815|
|             1622| 727761|
|             1622| 155875|
|             3837|1504923|
|             1622| 139684|
+-----------------+-------+

我想把它变成:

    +-----------------+-------------------------------------------+
    |Id               | value                                     |
    +-----------------+-------------------------------------------+
    |             1622|139685,182118,127955,727761,155875,139684  |
    |             3837|3224815,1504923                            |
    +-----------------+-------------------------------------------+

DataFrame 是否可行？仅功能还是需要将其转换为和 RDD ?

Answer 1

DataFrame 是可能的API。尝试:

df.groupBy(col("Id"))
  .agg(collect_list(col("value")) as "value")

如果不是 Array你想要一个 String由 , 分隔，然后试试这个:

df.groupBy(col("Id"))
  .agg(collect_list(col("value")) as "value")
  .withColumn("value", concat_ws(",", col("value")))