python - 我如何遍历 "pyspark"中的列表列表以获得特定结果

Question

我是 PySpark 的新手，我想了解如何做到这一点。任何帮助表示赞赏。

例如，我有这个 RDD:

[[u'merit', u'release', u'appearance'], [u'www.bonsai.wbff.org'], [u'whitepages.com'], [u'the', u'childs', u'wonderland', u'company'], [u'lottery']]

我尝试拥有:

[[(u'merit',1), (u'release',1), (u'appearance',1)], [(u'www.bonsai.wbff.org',1)], [(u'whitepages.com',1)], [(u'the',1), (u'childs',1), (u'wonderland',1), (u'company',1)], [(u'lottery',1)]] 

但我已经尝试过，它让我得到了这个结果:

[[u'merit', u'release', u'appearance',1], [u'www.bonsai.wbff.org',1], [u'whitepages.com',1], [u'the', u'childs', u'wonderland', u'company',1], [u'lottery',1]]

或这些错误:

• TypeError: 'PipelinedRDD' 对象不可迭代
• AttributeError: 'list' object has no attribute 'foreach' - 或 split、take 等

我试过这个:

rdd1=rdd.map(lambda r : (r,1))  

我有第一个结果:

[u'merit', u'release', u'appearance',1], [u'www.bonsai.wbff.org',1], [u'whitepages.com',1], [u'the', u'childs', u'wonderland', u'company',1], [u'lottery',1]]

rdd1=rdd.map(lambda r : (r[:][0],1))  

它只得到每一行的第一个词，这不是我想要的

for row in rdd.collect() : row.foreach(lambda x : (x,1)) 
# AttributeError: 'list' object has no attribute 'foreach'

rdd3.take(100).foreach( lambda a : (a.foreach( lambda e : print(e,1)))) 
# AttributeError: 'list' object has no attribute 'foreach'

Answer 1

要打印 collect 并在本地迭代:

for xs in rdd3.take(100):
    for x in xs:
        print(x)

一般迭代:

rdd.flatMap(lambda xs: [(x, 1) for x in xs])