scala - Spark df.write.partitionBy 运行速度非常慢

Question

我有一个数据框，保存为 Parquet 格式时大约需要 11GB。读取 dataframe 并写入 json 时，需要 5 分钟。当我添加partitionBy(“day”)时，需要几个小时才能完成。我知道分配到分区是代价高昂的操作。有没有办法让它更快？对文件进行排序可以让事情变得更好吗？

示例:

跑5分钟

df=spark.read.parquet(source_path).
df.write.json(output_path)

运行几个小时

spark.read.parquet(source_path).createOrReplaceTempView("source_table")
sql="""
select cast(trunc(date,'yyyymmdd') as int) as day, a.*
from source_table a"""
spark.sql(sql).write.partitionBy("day").json(output_path)

Answer 1

尝试在write之前添加repartition("day")，如下所示:

spark
  .sql(sql)
  .repartition("day")
  .write
  .partitionBy("day")
  .json(output_path)

它应该可以加快您的查询速度。