java - Spark 2.0.0 Arrays.asList 不工作 - 不兼容的类型

Question

以下代码适用于 Spark 1.5.2，但不适用于 Spark 2.0.0。我正在使用 Java 1.8。

final SparkConf sparkConf = new SparkConf();
sparkConf.setMaster("local[4]"); // Four threads
final JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);
final JavaRDD<String> javaRDDLines = javaSparkContext.textFile("4300.txt");
final JavaRDD<String> javaRDDWords = javaRDDLines.flatMap(line -> Arrays.asList(line.split(" ")));

出现以下错误

Error:(46, 66) java: incompatible types: no instance(s) of type variable(s) T exist so that java.util.List<T> conforms to java.util.Iterator<U>

我无法确定是 Spark API 发生了变化还是发生了其他变化。请帮忙。谢谢。

Answer 1

在 2.0 中，FlatMapFunction.call()返回一个 Iterator 而不是 Iterable。试试这个:

JavaRDD<String> javaRDDWords = javaRDDLines.flatMap(line -> Arrays.asList(line.split(" ")).iterator())