scala - 如何将分组按功能转换为数据框

Question

嗨，我是 Scala 和 Spark 的新手。我正在尝试通过 spark sql 分组。当我尝试保存或查看输出时，它会引发以下错误。

value coalesce is not a member of org.apache.spark.sql.RelationalGroupedDataset

这是我的代码。

 val fp = filtertable.select($"_1", $"_2", $"_3",$"_4").groupBy("_1", "_2","_3")
 fp.show() // throws error
 fp.coalesce(1).write.format("csv").save("file://" + test.toString()) //throws error.

任何帮助将不胜感激。

Answer 1

该问题表明您希望将分组数据以 csv 格式写入文本文件中。如果我的分析是正确的，那么 groupBy在 rdd应该是您想要的解决方案 如 groupBy在 dataframe需要 aggregation待关注 .所以你必须转换 dataframe至 rdd , 申请 groupBy最后将输出写入 csv文件为

val fp = df.select($"_1", $"_2", $"_3",$"_4")
      .rdd
      .groupBy(row => (row(0), row(1), row(2)))  // similar to groupBy("_1", "_2","_3") on dataframe
      .flatMap(kv => kv._2)   // taking the grouped data
      .map(_.mkString(","))   // making data in csv format

    fp.coalesce(1).saveAsTextFile("file://" + test.toString())

我希望答案有帮助