python - 如何在 PySpark 中将两列堆叠成一列？

Question

我有以下 PySpark DataFrame:

id   col1   col2
A    2      3
A    2      4
A    4      6
B    1      2

我要堆叠 col1和 col2为了获得单列，如下所示:

id   col3
A    2   
A    3
A    4
A    6
B    1
B    2

我该怎么做？

df = (
    sc.parallelize([
        (A, 2, 3), (A, 2, 4), (A, 4, 6),
        (B, 1, 2),
    ]).toDF(["id", "col1", "col2"])
)

Answer 1

最简单的是合并col1和 col2进入数组列，然后 explode它:

df.show()
+---+----+----+
| id|col1|col2|
+---+----+----+
|  A|   2|   3|
|  A|   2|   4|
|  A|   4|   6|
|  B|   1|   2|
+---+----+----+

df.selectExpr('id', 'explode(array(col1, col2))').show()
+---+---+
| id|col|
+---+---+
|  A|  2|
|  A|  3|
|  A|  2|
|  A|  4|
|  A|  4|
|  A|  6|
|  B|  1|
|  B|  2|
+---+---+

如果您不需要它们，您可以删除重复项。