gpt4 book ai didi

scala - 如果文件有 4 个分区,将执行多少个任务?

转载 作者:行者123 更新时间:2023-12-04 17:54:48 25 4
gpt4 key购买 nike

<分区>

我有一个 560 Mb 的 csv 文件,我已经从 HDFS 读取了 csv。当我使用 df.rdd.partitions.size 检查文件的分区数时,它显示了 4 个分区。如果我只是使用 df.count() 检查总行数,则会提交一个作业,其中包含 2 个阶段和所有阶段的 5 个任务。

我需要了解阶段总数是 2,所有阶段的任务总数是 5。我了解到每个分区有 1 个任务,所以它应该是 4。

提前致谢。

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com