java - 如何展平 RDD？

Question

我对 Spark 相当陌生，并且使用 Java 以 Casandra 作为数据源进行函数式编程。作为 map task 的输出，我得到了一个字符串列表。

JavaRDD<List<String>> crows = sessions.map(new Function<Session, List<String>>() {});

我想从 JavaRDD<List<String>> to JavaRDD<String> 类型转换变量 crows即想要变平。有人可以建议一种方法来做到这一点吗？

Answer 1

根据@UniLocal，以下作品:

JavaRDD<String> crows = sessions.flatMap(new FlatMapFunction<Session, String>() {
    public Iterable<String>  call(T x) {
        List<String> someList = ...
        return someList;
    }
});