gpt4 book ai didi

apache-spark - 在执行程序上获取 Spark session

转载 作者:行者123 更新时间:2023-12-04 05:23:30 25 4
gpt4 key购买 nike

部署 Spark 结构流应用程序后,如何在执行器上获取 Spark session 以部署具有相同 session 和相同配置设置的另一个作业?

最佳答案

如果您在集群模式下运行 spark,则无法将 spark session 连接到执行程序,因为 spark session 对象无法序列化,因此无法将其发送到执行程序。此外,这样做违反了 Spark 设计原则。

如果你能告诉我问题陈述,我也许可以帮助你。

关于apache-spark - 在执行程序上获取 Spark session ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48855224/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com