python - 拆分 RDD

Question

我想拆分列表的列表 ((A,1,2,3),(B,4,5,6),(C,7,8,9))进入:

(A,1)
(A,2)
(A,3)
(B,4)
(B,5)
...

我试过rdd.flatMapValues(lambda x: [x])但它只是给了我第一个值(value)观。然后我写了一个小Python函数:

item_index = []
for list in master_list:
    for item in list:
        item_index.append((list[0],item))

但我没有意识到你不能通过 RDD进去。任何建议都会很棒。

Answer 1

正如您所说，您的rdd为[["A",1,2,3],["B",4,5,6],["C",7,8,9]]

master_list = sc.parallelize([["A",1,2,3],["B",4,5,6],["C",7,8,9]])

您可以flatMap并进行一些迭代以获得所需的输出

master_list.flatMap(lambda x: [[x[0], x[i]] for i in range(1, len(x))])

您的输出必须为

['A', 1]
['A', 2]
['A', 3]
['B', 4]
['B', 5]
['B', 6]
['C', 7]
['C', 8]
['C', 9]

希望我的回答对您有帮助