java - 分解JavaPairRDD对象

Question

我有一个JavaPairRDD<Dimension, Metrics> ，这里Dimension & Metrics对象有一堆成员。有没有办法将其转换为 Dataset<Row>以及两个对象的所有列/成员。或者还有办法转储这个JavaPairRDD到一个文件，其中两个对象的列/成员用制表符或逗号分隔。

Answer 1

您可以使用map()将 JavaPairRDD 转换为 JavaRDD，将 Dimension 和 Metrics 中的所有成员表示为逗号分隔的字符串。

之后您可以 save it as a Text file 。

执行此操作的逻辑步骤:

• 重写 Dimension 和 Metrics 类中的 toString()。您可以将逗号分隔的值列表作为字符串返回其中。

在您的 Spark 应用程序中 -

Function<Tuple2<Dimension, Metrics>, String> f = tuple -> (tuple._1.toString() +"," + tuple._2.toString());
JavaRDD csvRdd = pairRDD.map(f);
csvRdd.saveAsTextFile("your file path")

• 阿米特