java - 如何将 JavaRDD> 转换为 JavaRDD 并写入不带 "["和 "]"的文件

Question

我有一个JavaRDD<List<String>>当我使用时，我的文件在每个字符串列表的开头和结尾处都用 [] 写入

javacontext.parallelize(rdd).coalesce(1, true).saveAsTextFile("dirname");

我们可以转换 JavaRDD<List<String>>至JavaRDD<String>并将其写入文件？

Answer 1

您可以使用map申请String.join对于每个 List<String>在JavaRDD :

String separator = ",";
JavaRDD<String> ys = rdd
        .map(new Function<List<String>, String>() {
            @Override
            public String call(List<String> xs) throws Exception {
                return String.join(separator, xs);
            }
        });

或者使用 lambda:

JavaRDD<String> ys = rdd
        .map((Function<List<String>, String>) xs -> String.join(separator, xs));