azure - 从 Azure Blob 存储到计算目标的数据传输速度缓慢

Question

下载包含 90000 个文件的 48GB 数据集需要 1 小时。我正在使用计算目标 p100-nc6s-v2 在 Azure ML 管道上训练图像分割模型。在我的脚本中，我使用 DataReference 的 as_download() 功能访问 Azure Blob 存储。 Blob 存储与工作区位于同一位置(使用 get_default_datastore)。

注意:我可以使用 az copy 在几分钟内将完整的数据集下载到本地工作站。

当我尝试使用 as_mount() 时，第一个纪元非常慢(4700 秒 vs 后续纪元的 772 秒)。

这是预期的行为吗？如果没有，如何提高数据集加载速度？

Answer 1

运行的工作文件夹已安装云存储，可能默认为工作区中的文件存储。您可以尝试设置 blob 数据存储，看看性能是否有所提高？

run_config.source_directory_data_store = 'workspaceblobstore'