azure-machine-learning-service - 带有 AML 数据存储引用的 ScriptRunConfig

Question

当尝试运行 ScriptRunConfig 时，使用:

src = ScriptRunConfig(source_directory=project_folder, 
                      script='train.py', 
                      arguments=['--input-data-dir', ds.as_mount(),
                                 '--reg', '0.99'],
                      run_config=run_config) 
run = experiment.submit(config=src)

当我提交作业时，它不起作用并中断:

... lots of things... and then
TypeError: Object of type 'DataReference' is not JSON serializable

但是，如果我使用估算器运行它，它就会起作用。区别之一是，对于 ScriptRunConfig，我们使用参数列表，而另一个是字典。

感谢您的指点!

Answer 1

能够在 ScriptRunConfig 中使用 DataReference 比仅使用 ds.as_mount() 复杂一些。您需要将其转换为 arguments 中的字符串，然后使用 DataReferenceConfiguration 更新 RunConfiguration 的 data_references 部分> 由 ds 创建。请see here有关如何执行此操作的示例笔记本。

如果您只是从输入位置读取而不对其进行任何写入，请查看 Dataset 。它可以让您准确地做您正在做的事情，而无需做任何额外的事情。 Here is an example notebook这表明了这一点的实际作用。

下面是笔记本的简短版本

from azureml.core import Dataset

# more imports and code

ds = Datastore(workspace, 'mydatastore')
dataset = Dataset.File.from_files(path=(ds, 'path/to/input-data/within-datastore'))

src = ScriptRunConfig(source_directory=project_folder, 
                      script='train.py', 
                      arguments=['--input-data-dir', dataset.as_named_input('input').as_mount(),
                                 '--reg', '0.99'],
                      run_config=run_config) 
run = experiment.submit(config=src)