python - 如何重新分区 pyspark 数据框？

Question

data.rdd.getNumPartitions() # output 2456

那我就做
data.rdd.repartition(3000)但是
data.rdd.getNumPartitions() # 输出仍然是 2456

如何更改分区数量。一种方法是首先将 DF 转换为 rdd，对其重新分区，然后将 rdd 转换回 DF。但这需要很多时间。另外，增加分区数量是否会使操作更加分散且更快？谢谢

Answer 1

您可以检查分区的数量:

data.rdd.partitions.size

要更改分区数量:

newDF = data.repartition(3000)

您可以检查分区的数量:

newDF.rdd.partitions.size

重新分区时要小心数据混洗，这很昂贵。如果需要，请查看coalesce。