gpt4 book ai didi

apache-spark - Spark 流 : long queued/active batches

转载 作者:行者123 更新时间:2023-12-04 04:53:45 25 4
gpt4 key购买 nike

任何人都可以指出这个事件批次在那里挂了好几个星期并且从未被处理过的原因是什么?非常感谢。

我的猜测是执行者不够,更多的 worker /执行者会解决问题吗?或者 Spark 在其任务调度程序中为不同的批次分配优先级?

但这里的情况是,最近的批次(6 月底)已成功处理,但 5 月的批次仍在排队。

我刚刚检查了我的 Spark 设置,调度程序策略是 FIFO

spark.scheduler.mode    FIFO

enter image description here

最佳答案

原来是主节点是瓶颈。

主节点内存不足,然后调度程序可能处理得不够快。

解决方案 : 将主节点更改为更强大的 EC2 实例

关于apache-spark - Spark 流 : long queued/active batches,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38252198/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com