Tensorflow 2.0 数据集和数据加载器

Question

我是一个pytorch用户，我习惯了pytorch中的data.dataset和data.dataloader api。我正在尝试使用tensorflow 2.0构建相同的模型，我想知道pytorch中是否有与这些api类似的api。

如果没有这样的API，谁能告诉我人们通常如何实现tensorflow中的数据加载部分？我使用过tensorflow 1，但从未有过使用dataset api 的经验。我之前已经硬编码过。我希望有类似仅使用索引作为输入来覆盖 getitem 之类的东西。

提前致谢。

Answer 1

使用 tf.data 时API，您通常还会使用<a href="https://www.tensorflow.org/api_docs/python/tf/data/Dataset#map" rel="noreferrer noopener nofollow">map</a>功能。

在 PyTorch 中，您的 __getItem__调用基本上从 __init__ 中给出的数据结构中获取元素。并在必要时对其进行转换。

在 TF2.0 中，您可以通过初始化 <a href="https://www.tensorflow.org/api_docs/python/tf/data/Dataset" rel="noreferrer noopener nofollow">Dataset</a> 来执行相同的操作使用 Dataset.from_... 之一函数(参见 <a href="https://www.tensorflow.org/api_docs/python/tf/data/Dataset#from_generator" rel="noreferrer noopener nofollow">from_generator</a> 、 <a href="https://www.tensorflow.org/api_docs/python/tf/data/Dataset#from_tensor_slices" rel="noreferrer noopener nofollow">from_tensor_slices</a> 、 <a href="https://www.tensorflow.org/api_docs/python/tf/data/Dataset#from_tensors" rel="noreferrer noopener nofollow">from_tensors</a> )；这本质上是 __init__ PyTorch 的一部分 Dataset 。然后，您可以调用map执行 __getItem__ 中的逐元素操作.

Tensorflow 数据集是非常奇特的迭代器，因此根据设计，您不使用索引来访问它们的元素，而是通过遍历它们来访问它们。

guide上tf.data非常有用，并提供了各种各样的示例。