gpt4 book ai didi

java - 如何以编程方式停止 Spark 作业执行

转载 作者:可可西里 更新时间:2023-11-01 14:27:36 25 4
gpt4 key购买 nike

如果我想在异常或特定用例的情况下以编程方式从 spark 作业内部停止我的 Spark 应用程序,如何从 Java 代码实现这一点。我尝试调用 JavaSparkContext.close() 但作业似乎仍在运行。

最佳答案

您可以使用以下方法取消正在运行的 spark 作业:

cancelJobGroup(String group Id)- 取消指定组的 Activity 作业。
cancelAllJobs() - 取消所有已安排或正在运行的作业。

更多详情可以引用API doc

关于java - 如何以编程方式停止 Spark 作业执行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35904404/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com