gpt4 book ai didi

python - 如何在数据 block 集群上运行非 Spark 代码?

转载 作者:行者123 更新时间:2023-12-04 17:10:36 25 4
gpt4 key购买 nike

我能够从 databricks connect 中提取数据并完美地运行 spark 作业。我的问题是如何在远程集群上运行非 spark 或 native python 代码。出于保密原因不共享代码。

最佳答案

当您使用 databricks connect 时,您的本地计算机是您的 Spark 作业的驱动程序,因此非 Spark 代码将始终在您的本地计算机上执行。如果您想远程执行它,则需要将其打包为 wheel/egg,或将 Python 文件上传到 DBFS(例如,通过 databricks-cli )并将您的代码作为 Databricks 作业执行(例如,使用 Run Submit command Jobs REST API,或 create a Job with databricks-cli 并使用 databricks jobs run-now 来执行它)

关于python - 如何在数据 block 集群上运行非 Spark 代码?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/69527922/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com