python - 使用回归输出处理 tensorflow 中的大型 numpy 数组(51 个输出)

Question

我有一个非常大的数据集，它是一个 npy 文件，其中包含大约 1.5m 个元素，每个元素都是 150x150x3 图像。输出有 51 列(51 个输出)。由于数据集无法装入内存，如何加载它并使用它来拟合模型？一种有效的方法是使用 TFRecords 和 tf.data 但我不明白如何做到这一点。我将不胜感激的帮助。谢谢。

Answer 1

一种方法是逐个片段加载 NPY 文件(以供神经网络使用)，而不是立即将其加载到内存中。您可以正常使用 numpy.load 并指定 mmap_mode 关键字，以便数组保留在磁盘上，并且在访问时仅将必要的位加载到内存中(更多详细信息 here )

numpy.load(file, mmap_mode=None, allow_pickle=False, fix_imports=True, encoding='ASCII')

Memory-mapped files are used for accessing small segments of large files on disk, without reading the entire file into memory. NumPy’s memmap’s are array-like objects. This differs from Python’s mmap module, which uses file-like objects.

如果您想了解如何从 numpy 数组创建 tfrecords，然后使用 Dataset API 读取 tfrecords，请执行以下操作: link 提供了一个很好的答案。