python - 将 List 元素作为列添加到现有 pyspark 数据帧

Question

我有一个列表lists=[0,1,2,3,5,6,7]。顺序不是连续的。我有一个包含 9 列的 pyspark 数据框。

+-------------------+--------+--------+--------+--------+--------+--------+---------------+-----+----+
|               date|ftt (°c)|rtt (°c)|fbt (°c)|rbt (°c)|fmt (°c)|rmt (°c)|fmhhumidityunit|index|Diff|
+-------------------+--------+--------+--------+--------+--------+--------+---------------+-----+----+
|2019-02-01 05:29:47|     NaN|     NaN|     NaN|     NaN|     NaN|     NaN|            NaN|    0| NaN|
|2019-02-01 05:29:17|     NaN|     NaN|     NaN|     NaN|     NaN|    NaN|           NaN|    1| NaN |

我需要将列表作为列添加到现有数据框中。我的列表不按顺序排列，因此我无法使用 udf。有办法吗？请帮助我我希望它是这样的

+-------------------+--------+--------+--------+--------+--------+--------+---------------+-----+----+------+
|               date|ftt (°c)|rtt (°c)|fbt (°c)|rbt (°c)|fmt (°c)|rmt (°c)|fmhhumidityunit|index|Diff|lists |
+-------------------+--------+--------+--------+--------+--------+--------+---------------+-----+----+-------+
|2019-02-01 05:29:47|     NaN|     NaN|     NaN|     NaN|     NaN|     NaN|            NaN|    0| NaN|0     |
|2019-02-01 05:29:17|     NaN|     NaN|     NaN|     NaN|     NaN|     NaN|           NaN|    1| NaN |1     |

Answer 1

不太确定它是否必须是这样的或者您是否期待其他东西。如果您的列表项和数据框行数必须相同，那么这里有一个简单的方法。

对于给定的具有三列的示例数据框:

 l = [(1,'DEF',33),(2,'KLM',22),(3,'ABC',32),(4,'XYZ',77)]
 df=spark.createDataFrame(l, ['id', 'value','age'])

假设这是一个列表:

lists=[5,6,7,8]

可以从此列表创建一个 rdd，并对数据帧使用 zip 函数，并在其上使用 map 函数。

listrdd = sc.parallelize(lists)

newdf=df.rdd.zip(listrdd).map(lambda (x,y ) : ([x for x in x] + [y])).toDF(["id", "Value",",age","List_element"])

>>> ziprdd=df.rdd.zip(listrdd)
>>> ziprdd.take(50)
[(Row(id=1, value=u'DEF', age=33), 5), (Row(id=2, value=u'KLM', age=22), 6), (Row(id=3, value=u'ABC', age=32), 7), (Row(id=4, value=u'XYZ', age=77), 8)]

作为 zip 函数返回的键值对，第一个元素包含来自第一个 rdd 的数据，第二个元素包含来自第二个 rdd 的数据。我对第一个元素使用列表理解并将其与第二个元素连接起来。

它是动态的，可以适用于 n 列，但列表元素和数据框行必须相同。

>>> newdf.show()
]+---+-----+----+------------+
| id|Value|,age|List_element|
+---+-----+----+------------+
|  1|  DEF|  33|           5|
|  2|  KLM|  22|           6|
|  3|  ABC|  32|           7|
|  4|  XYZ|  77|           8|
+---+-----+----+------------+

注意:使用 zip 方法时，两个 rdd 分区计数必须相同，否则会出现错误

ValueError: Can only zip with RDD which has the same number of partitions