gpt4 book ai didi

scala - 星火(斯卡拉): groupby and aggregate list of values to one list based on index

转载 作者:行者123 更新时间:2023-12-04 01:56:59 30 4
gpt4 key购买 nike

<分区>

我有以下数据框:

root
|-- visitor: string (nullable = true)
|-- asset: array (nullable = true)
| |-- element: string (containsNull = true)

我正在尝试将共享相似索引(访问者)的值列表分组为原始列表类型(数组)的单个列表。

例子:

val rawData1 = Seq(("visitor1",Array("item1","item2","item3","item4")),("visitor2",Array("item1","item2","item3")))
val rawData2 = Seq(("visitor1",Array("item1","item2","item5")),("visitor2",Array("item4","item7")))
val df1 = spark.createDataFrame(rawData1).toDF("visitor","asset")
val df2 = spark.createDataFrame(rawData2).toDF("visitor","asset")
val dfJoined = df1.union(df2)
dfJoined.groupBy("visitor").agg(collect_list("asset"))

我得到的是:

visitor collect_list(asset)
visitor2 [WrappedArray(item1, item2, item3), WrappedArray(item4, item7)]
visitor1 [WrappedArray(item1, item2, item3, item4), WrappedArray(item1, item2, item5)]

但我不希望 Assets 列中有两个子列表,我希望将两个列表的所有值分组为一个具有原始类型(数组)的列表。

谢谢!

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com