gpt4 book ai didi

apache-spark - 在错误/中断时通过unix shell终止在 yarn 簇模式下运行的 Spark 流作业

转载 作者:行者123 更新时间:2023-12-02 22:02:33 27 4
gpt4 key购买 nike

我有shell脚本,可在Yarn集群模式下初始化spark流作业。我已通过Autosys安排了shell脚本。现在,当我杀死autosys作业时,我也想杀死以群集模式运行的这个 Spark 作业。
我尝试在错误返回代码的shell脚本中使用yarn application -kill,但未执行。但是我可以从另一个Shell窗口中取消这项工作。 yarn 应用程序-kill命令在那里完美运行并杀死该应用程序。

是否有任何变通办法可以通过同一Shell中断(自动)中断集群模式作业?

最佳答案

错误地返回代码逻辑->以孤立进程运行yarn application -kill <$ appid>。

关于apache-spark - 在错误/中断时通过unix shell终止在 yarn 簇模式下运行的 Spark 流作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54456838/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com