python - Tensorflow 上的 CUDA_ERROR_OUT_OF_MEMORY#object_detection/train.py

Question

我正在运行 Tensorflow 对象检测 API，使用 object_detection/train.py 脚本训练我自己的检测器，发现 here 。问题是我不断收到CUDA_ERROR_OUT_OF_MEMORY。

我发现了一些减少批量大小的建议，以便训练器消耗更少的内存，但我从 16 减少到 4，但仍然遇到相同的错误。不同之处在于，当使用batch_size=16时，错误是在步骤~18中抛出的，现在是在步骤~70中抛出的。 编辑:设置batch_size=1并没有解决问题，因为我在步骤~2700仍然遇到错误。

在我停止训练过程之前，我该怎么做才能让它顺利运行？我真的不需要接受快速培训。

编辑:我目前为此使用 GTX 750 Ti 2GB。 GPU 除了训练和提供监控图像外不用于任何其他用途。目前，我仅使用 80 张图像进行训练，使用 20 张图像进行评估。

Answer 1

我认为与batch_size无关，因为你可以首先开始训练。

打开终端并运行

nvidia-smi -l

检查发生此错误时是否有其他进程启动。如果你设置batch_size=16，你可以很快找到答案。