tensorflow - 在 Google Colab 中使用多个 GPU 在 Tensorflow 中进行分布式训练

Question

我最近对将分布式培训融入我的 Tensorflow 项目产生了兴趣。我正在使用 Google Colab 和 Python 3 来实现一个带有定制的分布式训练循环的神经网络，如本指南中所述:
https://www.tensorflow.org/tutorials/distribute/training_loops
在“创建分配变量和图形的策略”部分下的指南中，有一些代码的图片，这些代码基本上设置了“镜像策略”，然后打印模型的生成副本的数量，见下文。
Console output
据我了解，输出表明 MirroredStrategy 只创建了模型的一个副本，因此，只有一个 GPU 将用于训练模型。我的问题:Google Colab 是否仅限于在单个 GPU 上进行训练？
我曾尝试在使用和不使用 GPU 加速的情况下调用 MirroredStrategy()，但每次我只得到一个模型副本。这有点令人惊讶，因为当我在 Python 中使用多处理包时，我得到了四个线程。因此，我预计可以在 Google Colab 中并行训练四个模型。 Tensorflows 实现分布式训练是否存在问题？

Answer 1

在 google colab 上，您只能使用一个 GPU，这是 Google 的限制。但是，您可以在不同的 gpu 实例上运行不同的程序，因此通过创建不同的 colab 文件并将它们与 gpu 连接，但您不能将相同的模型并行放置在多个 gpu 实例上。
镜像 startegy 没有问题，根据个人经验，如果您有多个 GPU，它可以正常工作。