gpt4 book ai didi

python - 如何在 PySpark shell session 中更新 pyfile?

转载 作者:太空狗 更新时间:2023-10-29 21:10:41 25 4
gpt4 key购买 nike

在交互式 pyspark session 中,您可以通过 sc.addPyFile('file_location') 导入 python 文件。如果您需要对该文件进行更改并保存它们,是否有任何方法可以“重新广播”更新后的文件而无需关闭您的 spark session 并启动一个新的 session ?

简单地再次添加文件是行不通的。我不确定重命名文件是否有效,但无论如何我都不想这样做。

据我从 spark 文档中得知,只有一种添加 pyfile 的方法,而不是更新 pyfile 的方法。我希望我错过了什么!

谢谢

最佳答案

我认为在交互式 session 期间不可行。您将必须重新启动 session 才能使用修改后的模块。

关于python - 如何在 PySpark shell session 中更新 pyfile?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42564069/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com