python - pyspark withcolumn 在每行中插入列表

Question

我有一个 df，其中包含一列 type，并且我有两个列表

women = ['0980981', '0987098']
men = ['1234567', '4567854']

现在我想根据 type 列的值添加另一列，如下所示:

from pyspark.sql import functions as psf
df_ = df.withColumn('new_col', psf.when(psf.col('type') == 'men', men).when(psf.col('type') == 'women', women))

但我想我们不能直接插入列表，因为我们可以在Scala中插入Array('1234567', '4567854')。我也尝试过 psf.lit(men) 但没有成功。

知道如何做吗？

Answer 1

使用pyspark.sql.functions.array，它接受列表达式的列表并返回Array类型的单个列表达式，结合 list 对 men 的理解:

men = ['1234567', '4567854']

df = spark.createDataFrame([['women'], ['men']], 'type: string')
df.withColumn('new_col', F.when(F.col('type') == 'men', F.array([F.lit(string) for string in men]))).show()

输出:

+-----+------------------+
| type|           new_col|
+-----+------------------+
|women|              null|
|  men|[1234567, 4567854]|
+-----+------------------+