AzureML 在管道之间传递数据而不保存数据

Question

我使用 PythonScriptStep 制作了两个脚本，其中 data_prep.py 通过执行一些数据转换来准备数据集，然后将其发送到 train.py 以在 AzureML 中训练 ML 模型。

可以使用 PipelineData 和 OutputFileDatasetConfig 在管道步骤之间传递数据，但是这些似乎将数据保存在 azure blob 中。

问:如何在步骤之间发送数据而不将数据保存在任何地方？

Answer 1

数据必须以某种方式传递。

您可以通过更改输出数据存储来影响存储帐户。如果数据只是数字的集合，您可以在脚本之间传递“虚拟”数据(例如，空文本文件)，并让上游使用 Run.get_context().log(*) 将这些数字记录为指标。或 MLFlow，下游加载这些值。

从根本上来说，如果信息不存储在某个地方，就无法在步骤之间传递信息，无论是“默认 Blob 存储”、另一个存储帐户还是工作区中的指标。