python - Google colab TPU 并在训练时从光盘读取

Question

我有 100k 张照片，它不适合内存，所以我需要在训练时从光盘读取它。

dataset = tf.data.Dataset.from_tensor_slices(in_pics)
dataset = dataset.map(extract_fn)

def extract_fn(x):
    x = tf.read_file(x)
    x = tf.image.decode_jpeg(x, channels=3)
    x = tf.image.resize_images(x, [64, 64])
return x

但是当我尝试训练时，出现此错误

File system scheme '[local]' not implemented (file: '/content/anime-faces/black_hair/danbooru_2629248_487b383a8a6e7cc0e004383300477d66.jpg')

我可以以某种方式解决这个问题吗？还尝试使用 TFRecords API，得到相同的错误。

Answer 1

您在此场景中使用的 Cloud TPU 未位于运行 Python 的同一虚拟机上。最简单的方法是将数据暂存在 GCS 上并使用 gs://URI 将 TPU 指向它。

要优化使用 GCS 时的性能，请添加 prefetch(AUTOTUNE)到您的 tf.data 管道，对于小型(<50GB)数据集，请使用 cache() .