caffe - Caffe中如何使用多个GPU？

Question

我想知道如何Caffe利用多个 GPU s 以便我可以决定升级到更强大的新卡，或者只是购买相同的卡并在 SLI 上运行.
例如，我最好买一个 TitanX 12 GB ，或两个 GTX 1080 8 GB ?
如果我使用 SLI 1080s，我的有效内存会翻倍吗？我的意思是我可以使用它们运行需要 12 GB 或更多 vram 的网络吗？还是我只剩下 8 GB ？
在这种情况下，内存又是如何利用的？
如果安装了两个不同的卡(都是 NVIDIA)会发生什么？ caffe 是否使用相同的可用内存？ (假设一个 980 和一个 970!)

Answer 1

for example am I better off buying one TitanX 12 GB , or two GTX 1080 8 GB ? If I go SLI the 1080s, will my effective memory get doubled? I mean can I run a network which takes 12 or more GB of vram using them? Or am I left with only 8 GB ?

不， effective memory 2 GPU 和 8Gb RAM 的大小为 8Gb，但 effective batch size将增加一倍，这将导致更稳定\快速的训练。

What would happen if two different cards are installed (both NVIDIA) ? Does caffe utilize the memory available the same? (suppose one 980 and one 970!)

我想你会被限制在较低的卡上并且可能有驱动程序问题，所以我不建议尝试这种配置。
也来自文档:

Current implementation has a "soft" assumption that the devices being used are homogeneous. In practice, any devices of the same general class should work together, but performance and total size is limited by the smallest device being used. e.g. if you combine a TitanX and a GTX980, performance will be limited by the 980. Mixing vastly different levels of boards, e.g. Kepler and Fermi, is not supported.

总结:使用具有大量 RAM 的 GPU，您可以训练更深的模型，使用多个 GPU，您可以更快地训练单个模型，并且您还可以为每个 GPU 训练单独的模型。我会选择具有更多内存 (TitanX) 的单 GPU，因为现在的深度网络有更多的 RAM 限制(例如 ResNet-152 或一些语义分割网络)，更多的内存将有机会运行更深的网络和更大的批量，否则如果你有一些适合单个 GPU (GTX 1080) 的任务，您可以购买 2 或 4 个，以加快速度。

这里还有一些关于 Caffe 中多 GPU 支持的信息:

The current implementation uses a tree reduction strategy. e.g. if there are 4 GPUs in the system, 0:1, 2:3 will exchange gradients, then 0:2 (top of the tree) will exchange gradients, 0 will calculate updated model, 0->2, and then 0->1, 2->3.

https://github.com/BVLC/caffe/blob/master/docs/multigpu.md