tensorflow - 如何在第一个时期正确缓存数据(Tensorflow，数据集)？

Question

我正在尝试使用cache的dataset转换。这是我当前的代码(简体):

dataset = tf.data.TFRecordDataset(filenames, num_parallel_reads=1)
dataset = dataset.apply(tf.contrib.data.shuffle_and_repeat(buffer_size=5000, count=1))
dataset = dataset.map(_parser_a, num_parallel_calls=12)
dataset = dataset.padded_batch(
    20, 
    padded_shapes=padded_shapes,
    padding_values=padding_values
)
dataset = dataset.prefetch(buffer_size=1)
dataset = dataset.cache()

在第一个时期之后，我收到以下错误消息:

调用迭代器未完全读取我们尝试的数据集
缓存。为了避免序列被意外截断，
当前的[部分缓存]序列将被删除。如果发生这种情况
您具有类似于 dataset.cache().take(k).repeat()的序列。
相反，请交换订单(即 dataset.take(k).cache().repeat())

然后，代码继续进行，仍然从硬盘驱动器而不是从缓存读取数据。因此，应该在哪里放置 dataset.cache()以避免错误？
谢谢。

Answer 1

Dataset.cache() 转换的实现非常简单:在您第一次遍历并完全迭代时，它会构建一个通过它的元素列表，并且在后续尝试对其进行迭代时会从该列表返回元素。如果第一遍仅对数据执行部分遍历，则列表不完整，并且TensorFlow不会尝试使用缓存的数据，因为它不知道是否需要其余元素，通常可能需要重新处理所有前面的元素以计算其余元素。

通过修改程序以使用整个数据集，并对其进行迭代直到引发tf.errors.OutOfRangeError，缓存将具有数据集中元素的完整列表，并将在所有后续迭代中使用。