azure - 如何从 Azure Databricks 导出 MLFlow 模型作为 CD 阶段的 Azure DevOps 工件？

Question

我正在尝试使用 Azure DevOps 和 Azure Databricks 创建 MLOps 管道。我从 Azure DevOps 向集群提交 Databricks 作业，该集群训练机器学习模型并将其保存到具有自定义风格的 MLFlow 模型注册表中(使用 PyFunc 自定义模型)。

现在，工作结束后，我想导出这个 MLFlow 对象(包含所有依赖项 - Conda 依赖项、两个模型文件 - 一个 .pkl 和一个 .h5 ，定义了 load_context() 和 predict() 函数的 Python 类，以便在导出后我可以导入它并调用预测，就像我们对 MLFlow 模型所做的那样)。

如何导出整个 MLFlow 模型并将其另存为要在 CD 阶段使用的 AzureDevOps Artifact(在此阶段我将使用自定义基础镜像将其部署到 AKS 集群)？

Answer 1

没有官方方法可以将 Databricks MLflow 运行从一个工作区导出到另一个工作区。但是，有一个“非官方”工具可以完成大部分工作，其主要限制是，由于缺少 REST API 端点，无法导出链接到运行的笔记本修订版本。

https://github.com/amesar/mlflow-export-import