java - 如何将 JavaPairRDD 转换为数据集？

Question

SparkSession.createDataset()只允许List, RDD, or Seq - 但它不支持JavaPairRDD 。

如果我有 JavaPairRDD<String, User>我想创建一个 Dataset从，这将是 SparkSession.createDataset() 的可行解决方法创建包装器的限制 UserMap包含两个字段的类:String和User 。

然后做spark.createDataset(userMap, Encoders.bean(UserMap.class)); ？

Answer 1

如果你可以转换JavaPairRDD至List<Tuple2<K, V>>然后你可以使用 createDataset 方法，该方法接受 List。请参阅下面的示例代码。

JavaPairRDD<String, User> pairRDD = ...;
Dataset<Row> df = spark.createDataset(pairRDD.collect(), Encoders.tuple(Encoders.STRING(),Encoders.bean(User.class))).toDF("key","value");

或者你可以转换为RDD

Dataset<Row> df = spark.createDataset(JavaPairRDD.toRDD(pairRDD), Encoders.tuple(Encoders.STRING(),Encoders.bean(User.class))).toDF("key","value");