scala - 将 scala 数据框中的逗号分隔值拆分为多行

Question

我有以下数据:

 RecommendationID   TPID    OwnerPersona    RecommendationOwner
   1936946        2494777      AE,AE         DEHARRIS,AACORREL
   2327768        16345463     AE,AE         FLNG,CAZHIWEI

我想修改它以获得以下结果，在拆分以逗号分隔的字符串 RecommendationOwner 之后:

 RecommendationID   TPID    OwnerPersona    RecommendationOwner
   1936946        2494777      AE,AE         DEHARRIS
   1936946        2494777      AE,AE         AACORREL
   2327768        16345463     AE,AE         FLNG
   2327768        16345463     AE,AE         CAZHIWEI

注意 - 我只想拆分 RecommendationOwner 列

Answer 1

只需组合 split 来拆分字符串和 explode 来为每个项目生成一行(相当于 Scala 集合或 RDD 中的 flatMap):

df.withColumn("RecommendationOwner", explode(split('RecommendationOwner, ",")))

您还可以通过将 "," 替换为 "\\s*,\\s*" 来消除可能的空格。