apache-spark - 仅覆盖已分区Spark数据集中的某些分区

Question

我们如何覆盖已分区的数据集，但仅覆盖要更改的分区？例如，重新计算上周的日常工作，仅覆盖上周的数据。

默认的Spark行为是覆盖整个表，即使只写一些分区也是如此。

Answer 1

从Spark 2.3.0开始，这是覆盖表时的一个选项。要覆盖它，您需要将新的spark.sql.sources.partitionOverwriteMode设置设置为dynamic，需要对数据集进行分区，并且需要使用写入模式overwrite。
scala 中的示例:

spark.conf.set(
 "spark.sql.sources.partitionOverwriteMode", "dynamic"
)
data.write.mode("overwrite").insertInto("partitioned_table")

我建议在写入之前根据您的分区列进行重新分区，因此每个文件夹最终不会包含400个文件。

在Spark 2.3.0之前，最好的解决方案是启动SQL语句以删除这些分区，然后使用模式追加将其写入。