python - 如何在 Python 中解压 RDD 中每个项目的值(列表)？

Question

我有一个 RDD，每个项目都是这样的

(key, [ele1, ele2, ele3, ..., elen])

每一项都是一个键值对，值是一个元素列表。

我想解压缩列表，这样我就可以创建一个新的 RDD，每个项目都包含一个元素，如下所示:

(key, ele1)
(key, ele2)
(key, ele3)
.
.
.
(key, ele4)

我如何在 PySpark 中执行此操作？

我试过

RDD.flatmap(lambda line: line[1]) 

但这行不通。

Answer 1

比如这个？为简单起见，我使用了 str 元素。

>>> rdd = sc.parallelize([('key', ['ele1', 'ele2'])])
>>> rdd.flatMap(lambda data: [(data[0], x) for x in data[1]]).collect()
[('key', 'ele1'), ('key', 'ele2')]