Tensorflow:多 GPU 单输入队列

Question

在 tensorflow's cifar10 multi-GPU example ，似乎(如果我错了，请纠正我)每个 GPU 都会创建一个训练图像队列。难道“正确”的做法不是让一个队列为所有塔提供数据吗？如果是这样，是否有共享队列的示例？

Answer 1

您是正确的，CIFAR-10 模型的代码使用多个输入队列(通过 cifar10.distorted_inputs() 多次调用 cifar10.tower_loss() )。

在 GPU 之间使用共享队列的最简单方法是执行以下操作:

1. 将批量大小增加 N 倍，其中 N 是 GPU 的数量。

2. 将对 cifar10.distorted_inputs() 的调用移出 cifar10.tower_loss() 和 loop over GPUs 之外。

3. 沿第 0 个(批量)维度拆分从 images 返回的 labels 和 cifar10.distorted_inputs() 张量:

   images, labels = cifar10.distorted_inputs()
   split_images = tf.split(0, FLAGS.num_gpus, images)
   split_labels = tf.split(0, FLAGS.num_gpus, labels)
   

4. 修改 cifar10.tower_loss() 以采用 images 和 labels 参数，并按如下方式调用它:

   for i in xrange(FLAGS.num_gpus):
     with tf.device('/gpu:%d' % i):
       with tf.name_scope('%s_%d' % (cifar10.TOWER_NAME, i)) as scope:
   
         loss = tower_loss(scope, split_images[i], split_labels[i])