python - 使用 databricks 集群执行 azure 存储上存在的 python 代码

Question

我们的代码结构如下

在pkg文件夹中，我们有main.py和execute.py导入(from pkg import main.hello)

执行.py

from mnt.cdr.code.pkg import main

main.hello()

main.py

def hello():
    print("hello")

此代码存在于 azure 存储上，并且该 blob 容器已安装到/mnt/cdr/code..但我们收到“mnt 模块未找到”。

如何从 azure databricks 集群上的 blob 容器运行此代码？

Answer 1

模块未找到错误通常发生在Python无法定位错误时。导致此错误的最常见原因是未安装所需的模块或错误地导入模块。

请检查是否所有模块均已导入。如果全部正确请重启集群并检查

该问题可能是由于 azure 库的版本可能与现有库冲突。通过降级或升级 Azure 库进行检查。此外，当您尝试访问已创建的安装点或创建新的安装点时，它会失败并出现错误。

要卸载挂载点，请使用以下命令:dbutils.fs.unmount("/mnt/")

检查Failure when mounting Blob storage - Azure Databricks | Microsoft Docs& bash - Azure Databricks cluster init script - install python wheel - Stack Overflow

引用文献:

1. azure-sdk-for-python-storage-blob-upload-download
2. Libraries | Databricks
3. util-linux