gpt4 book ai didi

jupyter-notebook - 使用 Databricks 连接

转载 作者:行者123 更新时间:2023-12-03 23:13:26 25 4
gpt4 key购买 nike

我想使用我最喜欢的编辑器在本地编辑 Databricks 笔记本,然后使用 Databricks Connect在我通常通过 Web 界面访问的 Databricks 集群上远程运行笔记本。

不幸的是,在网上搜索了几天后,我找不到有关 Databricks Connect 的详细文档。

我跑 databricks-connect configure ,正如上面 PyPI 页面所建议的那样,但我不确定某些设置是什么。有人可以引导我完成此操作(例如在 Web 界面中的何处可以找到这些值)或提供指向正确文档的链接?

我知道一些设置应该是什么,但我会包括运行 databricks-connect configure 时出现的所有内容。 ,为了他人的完整性和利益。
Databricks HostDatabricks TokenCluster ID (例如, 0921-001415-jelly628 )Org ID (仅限 Azure,请参阅 URL 中的 ?o=orgId)Port (是 spark.databricks.service.port 吗?)

另外,我认为这是我最感兴趣的,我是否需要对笔记本本身进行任何更改,例如定义 SparkContext 或其他什么?如果是,用什么配置?

我应该如何运行它?运行后databricks-connect configure ,似乎没有任何“魔法”正在发生。当我跑 jupyter notebook ,它仍然在本地运行,并且似乎不知道将其转发到远程集群。

更新:
如果您想考虑更具体的内容,请在 Databricks 的 Web 界面中,dbutils是一个预定义的对象。远程运行笔记本时如何引用?

最佳答案

我已将另一个人的回复标记为答案,但由于某种原因,该回复现已消失。

就我而言,官方用户指南有效:
https://docs.azuredatabricks.net/user-guide/dev-tools/db-connect.html

关于jupyter-notebook - 使用 Databricks 连接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55008917/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com