apache-spark - 防止DataFrame.partitionBy()从架构中删除分区列

Question

我按如下方式对DataFrame进行分区：

df.write.partitionBy("type", "category").parquet(config.outpath)

该代码给出了预期的结果（即按类型和类别划分的数据）。但是，“类型”和“类别”列已从数据/架构中删除。有没有办法防止这种行为？

Answer 1

我可以想到一个变通办法，虽然相当la脚，但是可以解决。

import spark.implicits._

val duplicated = df.withColumn("_type", $"type").withColumn("_category", $"category")
duplicated.write.partitionBy("_type", "_category").parquet(config.outpath)

我正在回答这个问题，希望有人会比我有更好的答案或解释（如果OP找到了更好的解决方案），因为我有同样的问题。