azure - 使用 Azure CLI 创建 ML 环境时，并不总是会构建它

Question

我使用 Azure CLI 来创建 ML 环境，如下所示:

az ml environment create --name $(AML_ENVIRONMENT_NAME) --version $(AML_ENVIRONMENT_VERSION) --resource-group $(RESOURCE_GROUP) --workspace-name $(WORKSPACE_NAME)  --image $(AML_ENVIRONMENT_BASE_IMAGE) --conda-file $(AML_ENVIRONMENT_CONDA_SPEC)

这工作正常，除了两个问题:

1. 如果 conda 规范与之前的规范相比没有更改，则不会构建镜像(“环境”)。新环境在 ML Studio“环境” View 中仍可见，但显示“未构建”。

2. 即使构建了镜像，Environment 类似乎也没有使用它，而是开始了新的构建。我用来获取环境的代码如下:

from azureml.core import Experiment
env = Environment.get(ws, name=env_name, version=env_version)

所以，这个调用确实给了我环境，但是通过触发版本名称如“Autosave_2022-xx-xxT...”的新构建来实现它。然后需要半个小时左右的时间来创建该新图像。为什么它不能只使用已经构建的镜像？如果我打印 env 它会打印所需的环境名称和版本(例如 3)，但是当我查看管道作业时，实际的环境版本是“自动保存...”版本。

当我开始使用 Azure CLI 创建环境时，这种“自动保存”奇怪现象就开始发生。在此之前，我通过 Environment.from_docker_image() 调用创建了环境，但从未遇到过此问题。

请参阅下面的屏幕截图。

Answer 1

重现了该问题，但我这边没有发现任何错误。检查遵循的程序

az account set --subscription <subscription ID>
az configure --defaults workspace=<AzureML workspace name> group=<resource group>

azure ML 中有两种类型的环境。一种是自定义环境，另一种是策划环境。

策划具有预定义的环境并具有不同框架的属性。

要创建自定义环境，我们需要使用“az mlenvironment create name”进行创建

策划了一个由缓存 docker 镜像支持的镜像，它会定期更新支持在其上运行的应用程序的框架和库。使用“az mlenvironments list”获取策划环境的列表。创建YAML文件并上传到workspace本地环境的asserts文件夹中

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: docker-image-example
image: pytorch/pytorch:latest
description: Environment created from a Docker image.

az ml environment create --file assets/environment/conda.yml

上述语法将创建 yaml 文件

az ml environment create --name $(AML_ENVIRONMENT_NAME) --version $(AML_ENVIRONMENT_VERSION) --resource-group $(RESOURCE_GROUP) --workspace-name $(WORKSPACE_NAME)  --image $(AML_ENVIRONMENT_BASE_IMAGE) --conda-file $(AML_ENVIRONMENT_CONDA_SPEC)

以上是自动创建的策划环境

这是我们使用 docker 镜像和 conda 环境创建自定义环境的选项。这将反射(reflect)在使用 CLI 创建的环境中

要创建的docker镜像的URL如上图所示

版本号是为该环境的再现正常创建的。不是自动保存扩展。