tensorflow - 如何在 Google Colab 中高效使用 GPU RAM？

Question

我正在设计一个multi_label_image_Classifier。为此，我需要加载大约 7867 个的 train_images。当我加载图像时，RAM 使用量从 0.92 GB 增加到 12.5 GB。

加载后，当我将图像装入 numpy 数组时，RAM 使用总可用大小，即 25.54 GB，并且代码停止执行并出现错误“您的 session 崩溃了”。

我正在使用的示例代码

train_images= []
for i in tqdm(range(train.shape[0)):
    img = image.load_img(
        '/content/Multi_Label_dataset/Images/'+train['Id'][i]+'.jpg',
        target_size=(400,400,3)
        )
    img = image.img_to_array(img)
    img = img/255
    train_image.append(img)

上述 RAM 使用量为 12.52 GB

X= np.array(train_image)

执行此行时，RAM 使用量变为红色，并弹出“ session 崩溃消息”。

如何处理这个？？？

Answer 1

您的数据集太大，无法一次加载到 RAM 中。这是使用图像数据集时的常见情况。除了数据集之外，RAM 还需要保存模型、其他变量和额外的处理空间。

为了帮助加载，您可以使用 data_generators() 和 flow_from_directory()。这些方法在 Keras 中可用，请查看 documentation .

data_generator() 负责所有图像预处理，例如整形和标准化。 flow_from_directory() 将帮助解决您的内存问题。它从指定目录动态加载一批图像，并在应用预处理技术后将它们传递到模型。