gpt4 book ai didi

python-3.x - 从 PyCharm IDE 执行 databricks 魔术命令

转载 作者:行者123 更新时间:2023-12-04 12:58:09 24 4
gpt4 key购买 nike

使用 databricks-connect,我们可以从许多 IDE 成功运行在 Databricks 或 Databricks notebook 中编写的代码。 Databricks 还创建了许多神奇的命令,通过添加类似 %sql 的命令来支持其在每个单元格中运行多语言支持的功能。或 %md .我目前面临的一个问题是,当我尝试在 Pycharm 中执行 Databricks 笔记本时,如下所示:

  • 如何从 PyCharm 执行 Databricks 特定的魔法命令。
    例如。
    使用此命令在 Databricks 中的 Done 中导入脚本或笔记本 -
    %run
    './FILE_TO_IMPORT'

  • 在 IDE 中的位置 from FILE_TO_IMPORT import XYZ作品。
    再次,每次我下载 Databricks 笔记本时,它都会注释掉魔法命令,这使得它无法在 Databricks 环境之外的任何地方使用。
    每次我想做任何开发时,转换所有 databricks 魔术命令确实效率低下。
    有没有我可以设置自动检测 Databricks 特定魔术命令的配置?
    对此的任何解决方案都会有所帮助。提前致谢!!!

    最佳答案

    不幸的是,根据 databricks-connect版本 6.2.0-

    " We cannot use magic command outside the databricks environment directly. This will either require creating custom functions but again that will only work for Jupyter not PyCharm"


    同样,由于导入 py 文件需要 %run魔术命令因此这也成为一个主要问题。对此的解决方案是将要导入的文件集转换为 python 包,并通过 Databricks UI 将其添加到集群中,然后在 PyCharm 中导入和使用它。但这是一个非常乏味的过程。

    关于python-3.x - 从 PyCharm IDE 执行 databricks 魔术命令,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63435030/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com