python - 通过 tf.data.Dataset 将大型 numpy 数组输入 TensorFlow 估计器

Question

TensorFlow 的 tf.data.Dataset documentation on consuming numpy arrays指出为了将 numpy 数组与 Dataset API 结合使用，数组必须足够小(总共 <2 GB)才能用作张量，或者可以将它们输入到数据集中通过占位符。

但是，如果将 Dataset 与估算器(占位符不可用)结合使用，则文档不会提供在没有占位符的情况下处理大型数组的解决方案。

是否有其他选项可以将占位符值传递到可用的估计器中，或者是否有提供 tfrecord 或 csv 格式数据的解决方案？

Answer 1

您可以在创建数据集对象之前使用 np.split 和 from_generator。

chunks = list(np.split(array, 1000))

def gen():
    for i in chunks:
        yield i

dataset = tf.data.Dataset.from_generator(gen, tf.float32)
dataset = dataset.shuffle(shuffle_buffer_size)
...

您可以通过随机播放来控制数据集的大小。它将一次仅加载指定数量。