python - PySpark 旋转

Question

我想使用 PySpark 从多个表中转置数据，但我需要以一种奇怪的方式来做。请参阅下面的示例。

原表:

Vehicle_id | Owner_ID    | Vehicle_Buy_Date
--------------------------------------------
1          | 1           | 01/01/2015
1          | 2           | 01/10/2014
2          | 1           | 10/10/2016

最终结果:

Vehicle_id | Owner_1_Buy_Date | Owner_2_Buy_Date
------------------------------------------------
1          |01/01/2015        |01/10/2014
2          |10/10/2016        |NULL

我知道这是一个不寻常的问题，因为这主要不是在数据库表上完成的。

有没有办法在 PySpark 中进行这种类型的旋转？

Answer 1

pyspark中的函数称为pivot:

import pyspark.sql.functions as psf
df.groupBy("Vehicle_id").pivot("Owner_ID").agg(psf.max("Vehicle_Buy_Date")).show()

    +----------+----------+----------+
    |Vehicle_id|         1|         2|
    +----------+----------+----------+
    |         1|01/01/2015|01/10/2014|
    |         2|10/10/2016|      null|
    +----------+----------+----------+

如果您知道不同 Owner_ID 的数量，则可以将其指定为 pivot 函数中的列表参数，否则它将自行计算。