apache-spark - 在 Spark 中优先分区/任务执行

Question

我有一个带有倾斜数据的 Spark 工作。数据需要基于列进行分区。我想告诉 spark 首先开始处理最大的分区，以便更有效地使用可用资源。

推理如下:我总共有 10000 个分区，其中 9999 个分区只需要 1 分钟来处理，1 个分区需要 10 分钟来处理。如果我先得到沉重的分区，我可以在 11 分钟内完成这项工作，如果最后得到它则需要 18 分钟。

有没有办法确定分区的优先级？你能理解这个吗？

我在电子表格 上勾勒出这两个场景。

Answer 1

你的推理是正确的 afa:如果大任务立即开始，那么你的整体工作将更早完成。但是，您也不能控制任务的顺序(/优先级)，因为 spark 任务调度程序不提供定义该顺序的接口(interface)。