python - 设置 Mlflow 后端 (SQLite) 和工件(Azure Blob 存储)存储

Question

我想将 Mlflow 设置为具有以下组件:

• 后端存储(本地):在本地使用 SQLite 数据库存储 Mlflow 实体(run_id、params、metrics...)
• 工件存储(远程):使用 Azure Data Lake Storage Gen2 上的 Blob 存储来存储与模型相关的输出文件(版本化数据集、序列化模型、图像等)
• 跟踪服务器:通过使用类似于此命令的内容

z

mlflow server --backend-store-uri sqlite:///C:\sqlite\db\mlruns.db --default-artifact-root wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts -h 0.0.0.0 -p 8000

其中 mlruns.db 是我在 SQLite 中创建的数据库(在 db 文件夹内)，mlartifacts 是我在 blob 容器内创建的用于接收所有输出文件的文件夹。

我运行此命令，然后运行 ​​mlflow(或运行 kedro，因为我使用的是 Kedro)，但几乎没有任何反应。该数据库填充了 12 个表，但全部为空，而数据湖内没有任何反应。

我想要的应该是 Scenario 4在文档中。

对于神器商店，我找不到详细的说明。我尝试查看 Mlflow 的文档 here但这不是很有帮助(我仍然是初学者)。他们说:

MLflow expects Azure Storage access credentials in the AZURE_STORAGE_CONNECTION_STRING, AZURE_STORAGE_ACCESS_KEY environment variables or having your credentials configured such that the DefaultAzureCredential(). class can pick them up.

但是，即使添加环境变量，数据湖中似乎也没有存储任何内容。我创建了两个环境变量(在 Windows 10 上):

• AZURE_STORAGE_ACCESS_KEY = wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts

• AZURE_STORAGE_CONNECTION_STRING = DefaultEndpointsProtocol=https；AccountName=storagesample；AccountKey=。我通过在 Azure 门户上遵循以下路径获得它:存储帐户/访问 key /连接字符串(采用 key 2 之一)。

他们还指出:

Also, you must run pip install azure-storage-blob separately (on both your client and the server) to access Azure Blob Storage. Finally, if you want to use DefaultAzureCredential, you must pip install azure-identity; MLflow does not declare a dependency on these packages by default.

我将它们添加到我的项目需求中，但是在客户端和服务器上安装它们到底意味着什么？ azure-identity 如何帮助设置？

您能帮我一步步说明如何进行完整的设置吗？

提前谢谢您!

Answer 1

您只需设置 AZURE_STORAGE_CONNECTION_STRING，如果使用第一个环境变量，AZURE_STORAGE_ACCESS_KEY 是可选的(无论如何，AZURE_STORAGE_ACCESS_KEY 不应该是 URL ，但实际的访问 key )。

关于azure-storage-blob包 - 它应该安装在运行mlflow服务器的服务器上，以及运行训练的同一台计算机上(客户端)。