apache-spark - PySpark RDD中，如何使用foreachPartition()打印出每个分区的第一条记录？

Question

在 PySpark RDD 中，如何使用 foreachPartition() 打印出每个分区的第一条记录？

Answer 1

你可以这样做:

def f(iterator):
   print(iterator.next()) 

或

def f(iterator):
   print(list(iterator)[0]) 

然后，您可以将上述功能之一应用于 RDD，如下所示:

rdd1 = sc.parallelize([1, 2, 3, 4, 5])
rdd1.foreachPartition(f)

请注意，这将打印在每个 spark worker 中，因此您应该访问 worker 的日志以查看结果。

有关更多信息，请查看文档 here