gpt4 book ai didi

java - 如何配置 YARN 在经过一段时间后重新启动 Spark 驱动程序?

转载 作者:行者123 更新时间:2023-12-01 06:05:21 25 4
gpt4 key购买 nike

我有一个用 Java 编写的 Spark 流应用程序。

如果驱动程序未在预定义的时间间隔内完成流批处理,我想重新启动驱动程序。

当从驱动程序代码中抛出异常而不实现计时器时,yarn 会按预期重新启动应用程序。当尝试添加计时器(需要位于与驱动程序不同的线程中)并在分配的时间过去后抛出异常时,yarn 不会重新启动驱动程序。我的猜测是,需要从驱动程序线程内抛出异常。

有什么办法可以实现这一点吗?

最佳答案

--supervise 用于确保驱动程序在因非零退出代码而失败时自动重新启动。

https://spark.apache.org/docs/latest/submitting-applications.html

关于java - 如何配置 YARN 在经过一段时间后重新启动 Spark 驱动程序?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46024497/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com