Azure ML Studio 真的很慢

Question

我已经使用 Azure ML studio 一段时间了，它确实很快，但现在当我尝试使用以下命令解压缩包含大约 3000 个图像的文件夹时

!unzip "file.zip" -d "to unzip directory"

花费了 30 多分钟，其他事件(更长的串联方法)似乎也花费了很长时间，即使使用 numpy 数组也是如此。怀疑是配置问题还是其他问题。我尝试过切换位置、创建新的资源组、工作区、更改计算(CPU 和 GPU)。

可以在图像上看到计算和其他当前配置集

Answer 1

当您使用笔记本时，您的本地目录将保留在(远程)Blob 存储上。因此，您会受到网络延迟的限制，更重要的是计算代理的 IOPS 的限制。对我有用的是使用安装在计算代理上的本地磁盘。注意:这不是持久的，当计算代理停止时，上面的所有内容都会消失。完成所有工作后，您可以将数据移动到持久存储(应位于安装列表中)。这可能仍然很慢，但您不必等待它完成。

您的本地目录是/mnt/azmnt。因此，如果您使用五十一下载数据集，您的代码将如下所示

import fiftyone
dataset = fiftyone.zoo.load_zoo_dataset(. 
              "open-images-v6",  
              splits=["train", "validation","test"],  
              label_types=["detections"],  
              classes=["Car"],  
              dataset_dir='/mnt/azmnt/openimages_cars_raw'
          )

请确保您使用具有大量 IOPS 的实例来执行下载部分。您可以转换为 tfrecords(或任何其他格式)，将其复制到持久存储，然后在 AML 中注册。然后您就可以停止使用这个高成本实例并返回到正常实例。