gpt4 book ai didi

apache-spark - 如何检查SparkContext已停止?

转载 作者:行者123 更新时间:2023-12-03 09:25:59 25 4
gpt4 key购买 nike

如何检测 SparkContext 是否为stopped

最佳答案

这适用于Scala/Java API的写入时间

在Spark发布1.6版之前,您将无法对其进行检查,而只能对其进行触发:
sc.stop()
从版本1.6和更高版本开始,您有一个 bool 函数,如果上下文已停止或正在停止,则该 bool 函数将返回true:
sc.isStopped
这适用于PySpark API

感谢@ zero323评论:
sc._jsc.sc().isStopped()
这为您提供了Java SparkContext

关于apache-spark - 如何检查SparkContext已停止?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36044450/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com