azure - 运行计划的 Azure ML 管道是否需要预先存在的计算资源？

Question

我一直在探索 Azure ML Pipeline。我指的是this notebook对于以下代码:

这是来自 MS Repo 的一小段代码:

train_step = PythonScriptStep(name = "Prepare Data",
source_directory = experiment_folder,
script_name = "prep_diabetes.py",
arguments = ['--input-data', diabetes_ds.as_named_input('raw_data'),
'--prepped-data', prepped_data_folder],
outputs=[prepped_data_folder],
compute_target = pipeline_cluster,
runconfig = pipeline_run_config,
allow_reuse = True)

这表明在定义管道时，我们必须为其提供计算资源(pipeline_cluster)。这显然是有道理的，因为特定步骤可能需要特定计算。

但是我们是否需要始终启动并运行此计算资源，以便每当触发管道时，它都可以找到计算资源？

此外，我认为我们可以保留一个最小节点数为零的集群，在这种情况下，每当触发管道时都会调整集群的大小。但我认为在这样的设置中，容器注册表可能会定期产生最小的成本。这是部署机器学习管道的推荐方法还是可能有更有效的方法？

Answer 1

是的，您是对的 - 创建一个至少包含零个节点的 ComputeTarget。 container registry costs大约为 0.16 美元/天，IIRC，该成本与 Azure 机器学习捆绑在一起。

这就是我们的团队在生产中为已发布的管道所做的事情。