python - PySpark 将 'map' 类型的列转换为数据框中的多列

Question

输入

我有一列 Parameters 类型为 map 的形式:

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
d = [{'Parameters': {'foo': '1', 'bar': '2', 'baz': 'aaa'}}]
df = sqlContext.createDataFrame(d)

df.collect()
# [Row(Parameters={'foo': '1', 'bar': '2', 'baz': 'aaa'})]

df.printSchema()
# root
#  |-- Parameters: map (nullable = true)
#  |    |-- key: string
#  |    |-- value: string (valueContainsNull = true)

输出

我想在 PySpark 中 reshape 它，以便所有键(foo、bar 等)都变成列，即:

[Row(foo='1', bar='2', baz='aaa')]

使用 withColumn 有效:

(df
 .withColumn('foo', df.Parameters['foo'])
 .withColumn('bar', df.Parameters['bar'])
 .withColumn('baz', df.Parameters['baz'])
 .drop('Parameters')
).collect()

但是我需要一个没有明确提及列名的解决方案，因为我有几十个列名。

Answer 1

由于 MapType 的键不是模式的一部分，您必须首先收集这些键，例如:

from pyspark.sql.functions import explode

keys = (df
    .select(explode("Parameters"))
    .select("key")
    .distinct()
    .rdd.flatMap(lambda x: x)
    .collect())

当你有了这个之后，剩下的就是简单的选择:

from pyspark.sql.functions import col

exprs = [col("Parameters").getItem(k).alias(k) for k in keys]
df.select(*exprs)