java - 将 JavaRDD> 转换为 JavaRDD

Question

我有一个类对象列表的 JavaRDD。我想将它展平为类对象的 JaveRDD，这样JavaRDD<{1, 2, 3, 4}, {5, 6, 7}> 转到 JavaRDD<1, 2, 3, 4, 5, 6, 7>

在这篇文章中 Convert RDD List to RDD of individual element in spark一种解决方案是

val newrdd = rdd.flatmap(line => line)

但是，line=>line是scala(我认为)我试过了

rdd.flatmap(line-> line)

它给出了错误

“不存在类型变量 U 的实例，因此 List 符合迭代器”

Answer 1

function您传递到 flatMap 应该返回 java.util.Iterator<T> ，不是List<T> 。这样做就足够了:

JavaRDD<SomeClass> newRdd = rdd.flatMap(List::iterator);