apache-spark - mapPartitions 返回空数组

Question

我有以下 RDD，它有 4 个分区:-

val rdd=sc.parallelize(1 to 20,4)

现在我尝试在此调用 mapPartitions:-

scala> rdd.mapPartitions(x=> { println(x.size); x }).collect
5
5
5
5
res98: Array[Int] = Array()

为什么它返回空数组？ anonymoys 函数只是返回它接收到的相同迭代器，那么它是如何返回空数组的呢？有趣的是，如果我删除 println 语句，它确实返回非空数组:-

scala> rdd.mapPartitions(x=> { x }).collect
res101: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20)

这个我不明白。为什么 println (它只是打印迭代器的大小)的存在会影响函数的最终结果？

Answer 1

那是因为 x是 TraversableOnce ，这意味着您通过调用 size 遍历了它然后把它还回来....空的。

您可以通过多种方式解决此问题，但这里有一个:

rdd.mapPartitions(x=> {
  val list = x.toList;
  println(list.size);
  list.toIterator
}).collect