machine-learning - GPU计算: how much VRAM do I need for mini batch gradient descent?

Question

我想使用 NVIDIA 卡进行一些 GPU 计算，并正在决定使用配备 2GB 还是 4GB 内存的 GTX 960。我应该服用哪一种？就我可以用于小批量梯度下降的批量大小而言，这些会有多大差异？这种差异会很显着吗？

感谢您的解答。

Answer 1

成本最高的操作之一是将数据传入/传出 GPU 设备。因此，如果您预计使用 >2GB 的数据集，则更大的内存将带来很大的好处。您可以一次存储大量数据(小批量大小的倍数)，和/或如果需要频繁评估，则可以存储整个保留数据集。当然，您始终可以使用与 GPU 之间的异步复制(如果设备支持)或其他 optimizations并且当然可以使用较小的内存；但是，这会增加一些额外的复杂性，并且您使用的任何工具包(如果适用)可能无法利用此功能。