python - 如何保存 Tensorflow 数据集

Question

正如标题所说，我正在尝试将 TensorSliceDataset 对象保存到文件中。查看tensorflow的website tf.data.Dataset 类似乎有一个保存功能，但它没有为 TensorSliceDataset 对象实现。酸洗也不适合我。

示例代码

import tensorflow as tf
t = tf.range(10)
ds = tf.data.Dataset.from_tensor_slices(t)
ds.save()

返回错误:AttributeError: 'TensorSliceDataset' object has no attribute 'save'

Answer 1

在 Tensorflow 2.10.0 中，您可以使用 tf.data.Dataset.save:

import tensorflow as tf

print(tf.__version__)
# 2.10.0

path = '/content/'
t = tf.range(10)
ds = tf.data.Dataset.from_tensor_slices(t)

tf.data.Dataset.save(ds, path)
new_ds = tf.data.Dataset.load(path)

否则，对旧版本使用 tf.data.experimental.save:

import tensorflow as tf

path = '/content/'
t = tf.range(10)
ds = tf.data.Dataset.from_tensor_slices(t)
tf.data.experimental.save(ds, path)
new_ds = tf.data.experimental.load(path)