JavaPairRDD 到 SPARK 中的数据集

Question

我有 JavaPairRDD 格式的数据

JavaPairdRDD<Tuple2<String, Tuple2<String,String>>>

我尝试使用下面的代码

 Encoder<Tuple2<String, Tuple2<String,String>>> encoder2 =
 Encoders.tuple(Encoders.STRING(), Encoders.tuple(Encoders.STRING(),Encoders.STRING()));
 Dataset<Row> userViolationsDetails = spark.createDataset(JavaPairRDD.toRDD(MY_RDD),encoder2).toDF("value1","value2");

但是如何生成 3 列的数据集？？？上述代码的输出为我提供了两列数据。有什么指示/建议吗？？？

Answer 1

尝试运行 printSchema - 您会看到，value2 是一个复杂类型。

有了这些信息，你可以写:

Dataset<Row> uvd = userViolationsDetails.selectExpr("value1", "value2._1 as value2", "value2._2 as value3")

value2._1 表示当前“value2”字段内元组的第一个元素。我们覆盖 value2 字段，使其只有一个值

请注意，这将在https://issues.apache.org/jira/browse/SPARK-24548之后起作用。被合并到master分支。目前 Spark 中存在一个错误，元组被转换为具有两个名为 value

的字段的结构