machine-learning - 为什么 Tensorflow CNN 使用过多内存？

Question

我是深度学习新手，我正在使用 Tensorflow 训练 cnn 来进行图像识别。训练图像均为128像素*128像素*3 channel 。在我的网络中，有 3 个转换层、3 个最大池层和 1 个全连接层。我有超过 180,000 张标记图像，因此我决定每批训练 4000 张图像。然而，训练过程甚至无法在我的笔记本电脑上运行，因为内存不够，所以我尝试使用具有 64GB RAM 和 2 * E5 CPU 的服务器来训练它。这次可以用了，但是要花费超过 40GB 的内存。我很困惑我用于训练的图像不是高分辨率图像(只有 128*128)。但为什么仍然花费太多内存(可能是批量大小太大......)。这是正常的吗？如果这是正常的，人们怎么可能使用gpu来训练神经网络，据我所知，gtx1080ti有11GB内存，但仍然不足以训练我的网络。

Answer 1

一次性 4000 听起来好像很多。我见过的大多数例子每批训练几百个。我想所有图像可能会立即加载到内存中，因此内存使用率很高。

你可以尝试小批量训练吗？ 1000，甚至500，看看内存占用是否下降？