python - 当我尝试将我的 numpy 数组保存到 .npy 文件时，出现内存错误。如何从内存有限的图像文件创建一个大的 .npy 文件？

Question

我是处理大型数据集的新手。我想用我的训练数据生成一个 .npy 文件。我有大约 1.7GB 的 PNG 图像要加载，但是由于内存错误，我将这个设置分成了 block ，我现在试图将大约 389.5 MB 的 PNG 文件加载到一个 numpy 数组中，然后保存它。我能够将文件加载到数组中，但是当我尝试保存它时出现内存错误。我已经尝试了 .pickle 和 .npy 文件类型。我很困惑为什么这是一个问题，因为我的笔记本电脑有 8GB RAM。我可以看到我的代码中存在一些内存效率低下的问题，但我还没有找到解决这些问题的方法。我怎样才能将这些数据加载到 .npy 文件中？对我来说，将其余训练数据也包括在内的最佳方法是什么？

def create_training_data():
    training_data = []
    IMAGE_SIZE = 640
    DATADIR = os.path.join(os.path.dirname(__file__), 'training_data')  # directory where training data is held
    CATEGORIES = ["0", "1"]
    count = 0
    fail = 0
    for category in CATEGORIES:

        path = os.path.join(DATADIR, category)
        class_num = CATEGORIES.index(category)
        for img in os.listdir(path):#
            count += 1
            print(str(count))
            try:

                img_array = cv2.imread(os.path.join(path, img))
                if not (img_array.shape[0] == IMAGE_SIZE and img_array.shape[1] == IMAGE_SIZE):
                    img_array = cv2.resize(img_array, (IMAGE_SIZE, IMAGE_SIZE))

                training_data.append([img_array, class_num])

            except Exception:

                fail += 1
                print("failed "+str(fail)+"/"+str(count))

    random.shuffle(training_data)
    X = []
    y = []

    for features, label in training_data:

        X.append(features)
        print(str(features))
        y.append(label)
    # X = np.array(X).reshape(-1, IMAGE_SIZE, IMAGE_SIZE, 3)
    np.save('training_data/X.npy', X)
    np.save('training_data/y.npy', y)
    # pickle_out = open("training_data/X.pickle", "wb")
    # pickle.dump(X, pickle_out)
    # pickle_out.close()pytho
    # pickle_out = open("training_data/y.pickle", "wb")
    # pickle.dump(y, pickle_out)
    # pickle_out.close()

如有任何帮助，我们将不胜感激!

Answer 1

Pickle 和 numpy.save 内存效率太低，无法保存大型数据集，我建议您使用 h5py将数据保存为 HDF5，这是非常有效的，应该在这些约束下工作。

我已经用它保存了数百 GB 的图像数据集，而且 RAM 使用率很低。