memory - Caffe:如何选择适合内存的最大可用批量大小？

Question

由于 GPU 内存较小(1Gb)，我遇到了一些问题，问题是现在我选择了 batch_size通过反复试验，似乎即使内存大小按行 Memory required for data: 打印在日志中小于 1Gb 它可能会失败。

所以我的问题是:

如何自动选择适合 GPU 内存的最大可用批量大小？

越大越好batch_size ?

在网络部署期间如何计算训练和前向传递所需的峰值内存？

更新:
我也检查了 code ，但我不确定什么是 top_vecs_

Answer 1

如果按行打印在日志中的内存大小 数据所需的内存小于您的​​总 GPU 内存，它仍然可能失败，因为其他程序正在使用您的一些 GPU 内存。在 linux 下，您可以使用 nvidia-smi 命令来检查统计信息。对我来说，使用 97MB 的 Ubuntu 图形环境。

没有办法说 caffe 自动执行。

是的，为了训练。它在一次传递中处理更多数据，并且会在更少的时期内收敛，因为 SGD 每次迭代将产生与 GD 更相似的结果。对于部署来说，这不是那么重要

这可以让您大致了解如何计算:http://cs231n.github.io/convolutional-networks/