gpt4 book ai didi

apache-spark - 如何手动启动和停止 spark Context

转载 作者:行者123 更新时间:2023-12-04 03:14:33 25 4
gpt4 key购买 nike

我是spark的新手。在我当前的spark应用程序脚本中,我可以发送查询到spark内存中保存的表并使用spark-submit获得所需的结果。问题是,每次spark上下文在完成结果后自动停止。我想按顺序发送多个查询。为此我需要保持活跃的 Spark 上下文。我怎么能那样做?我的观点是

Manual start and stop sparkcontext by user

请建议我。我正在使用 pyspark 2.1.0。提前致谢

最佳答案

要回答您的问题,这有效

import pyspark

# start
sc = pyspark.SparkContext()

#stop
sc.stop()

关于apache-spark - 如何手动启动和停止 spark Context,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44021695/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com