scala - 如何在Spark中对嵌套的数据框进行平面映射

Question

我有如下所示的嵌套字符串。我想将它们平面映射以在Spark中产生唯一的行

我的数据框有

A,B,"x,y,z",D

我想将其转换为产生输出

A,B,x,D
A,B,y,D
A,B,z,D

我怎样才能做到这一点。

基本上我该如何做平面映射并在Dataframe中应用任何功能

谢谢

Answer 1

Spark 2.0+
Dataset.flatMap:

val ds = df.as[(String, String, String, String)]
ds.flatMap { 
  case (x1, x2, x3, x4) => x3.split(",").map((x1, x2, _, x4))
}.toDF

Spark 1.3 + 。

使用 split和 explode functions:

val df = Seq(("A", "B", "x,y,z", "D")).toDF("x1", "x2", "x3", "x4")
df.withColumn("x3", explode(split($"x3", ",")))

Spark 1.x
DataFrame.explode(Spark 2.x中已弃用)

df.explode($"x3")(_.getAs[String](0).split(",").map(Tuple1(_)))