python - 如何停止 SparkContext

Question

如何停止当前运行的任何 Spark 上下文。

信息API:斯卡拉Spark版本:Spark 2.3

实际上我已经创建了 Spark 上下文。为了阻止他们我应该输入例如instance.stop() 但无法记住 Spark 上下文的实例名称。那么如何停止运行 Spark 上下文呢？

或者有什么方法可以重置我在spark-shell中所做的一切并从头开始？

Answer 1

这并不能真正回答您的问题，但可能有助于防止将来出现此问题。

您可以(应该？)使用 atexit 模块来确保退出 python 时自动调用 Spark 上下文的 .stop()。

import atexit

#spark configuration code here
sc = SparkContext(conf = conf)

atexit.register(lambda: sc.stop())