pytorch 数据集 map 样式与可迭代样式

Question

Pytorch 中的 map 样式数据集具有 __getitem__()和 __len__()和可迭代风格的数据集有 __iter__()协议(protocol)。如果我们使用 map 样式，我们可以使用 dataset[idx] 访问数据这很好，但是我们不能使用可迭代的数据集。
我的问题是为什么这种区分是必要的？是什么让随机读取的数据如此昂贵甚至不可能？

Answer 1

我写了一篇关于如何使用 PyTorch 数据集的短文，以及 map 样式和可迭代样式数据集之间的区别。
本质上，您应该尽可能使用 map 样式的数据集。 map 样式的数据集会提前为您提供它们的大小，更容易打乱，并允许轻松并行加载。
一个常见的误解是，如果您的数据不适合内存，则必须使用可迭代式数据集。那不是真的。您可以实现 map 样式的数据集，以便它根据需要检索数据。
查看全文 here .