python - 如何在 PySpark groupByKey() 中对迭代器中的值求和

Question

我正在做我在 Spark (Python) 上的第一步，我正在努力使用 groupByKey() 中的迭代器。我无法对这些值求和:我的代码如下所示:

example = sc.parallelize([('x',1), ('x',1), ('y', 1), ('z', 1)])

example.groupByKey()

x [1,1]
y [1]
z [1]

如何在 Iterator 上求和？我尝试了类似下面的方法，但它不起作用

example.groupByKey().map(lambda (x,iterator) : (x,sum(iterator))
example.groupByKey().map(lambda (x,iterator) : (x,list(sum(iterator)))

Answer 1

您可以使用 sum 简单地 mapValues:

example.groupByKey().mapValues(sum)

尽管在这种特殊情况下 reduceByKey 效率更高:

example.reduceByKey(lambda x, y: x + y)

或

from operator import add

example.reduceByKey(add)