pytorch - 加载图像的最快方法是什么？

Question

我有大约 200,000 张高分辨率图像，每次加载如此高质量的图像都很耗时。
预加载所有图像可能会占用太多内存。
如何将每个图像保存为 .npz 文件格式并加载 .npz 而不是 .jpg？会不会提速？

Answer 1

您不需要一次将所有图像加载到内存中。还考虑到我们在模型训练过程中需要对数据集进行数据增强，因此无法加载所有图像。

在 PyTorch 中，您可以使用 Dataset 存储您的训练和验证集。 Dataset类有一个参数 transforms (例如，Scale、RandomCrop 等)，用于在训练期间动态变换训练图像。 torchvision也提供了几个现成的数据集包，见 here .

基本方法

PyTorch 的内置 Dataloader 有一个 num_worker ，用于控制加载数据使用的子进程数。由于您的数据集不是很大，这足以满足您的需要。关于如何设置合适的worker数量，见here .

更多引用

PyTorch 论坛上有关于快速图片加载的讨论，使用 post1和 post2作为开始。