gpt4 book ai didi

apache-spark - 了解 Spark UI 的事件时间轴

转载 作者:行者123 更新时间:2023-12-05 04:05:35 24 4
gpt4 key购买 nike

我正在运行一个显示事件时间线的作业,我试图猜测这些单线之间的差距,它们似乎是平行的,但不是立即与其他阶段连续......

从中得到的任何其他见解,集群在这些间隙期间做了什么? enter image description here

最佳答案

在没有任何代码可供查看的情况下,盲目猜测是驱动程序在这些间隙期间忙于做一些工作。如果您在驱动程序中执行 .collect()broadcast() 或任何类型的本地 处理,则执行者将闲置,等待分配给他们的工作。

关于apache-spark - 了解 Spark UI 的事件时间轴,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50872559/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com