apache-spark - 如何控制使用 partitionBy 时生成的 parquet 文件的数量

Question

我有一个 DataFrame我需要根据特定的分区写入 S3。代码如下所示:

dataframe
  .write
  .mode(SaveMode.Append)
  .partitionBy("year", "month", "date", "country", "predicate")
  .parquet(outputPath)

partitionBy将数据分成相当多的文件夹(~400)，每个文件夹中只有一点数据(~1GB)。问题来了 - 因为 spark.sql.shuffle.partitions 的默认值是 200，每个文件夹中的 1GB 数据被拆分为 200 个小的 parquet 文件，导致总共写入大约 80000 个 parquet 文件。由于多种原因，这不是最佳选择，我想避免这种情况。

我当然可以设置 spark.sql.shuffle.partitions到一个小得多的数字，比如 10，但据我所知，这个设置还控制了连接和聚合中洗牌的分区数，所以我真的不想改变这一点。

有谁知道是否有另一种方法来控制写入多少文件？

Answer 1

正如您正确指出的，spark.sql.shuffle.partitions仅适用于 SparkSQL 中的 shuffle 和 join。
partitionBy在 DataFrameWriter (你挪开
来自 DataFrame至 DataFrameWriter一通电话write ) 只是对之前的分区数进行操作。 (作者的partitionBy只给将要写出的table/parquet文件分配了列，所以和分区数没有关系。这个有点乱。)

长话短说，只是 repartition DataFrame在你把它变成作家之前。