tensorflow - MirroredStrategy不使用GPU

Question

我想在多GPU系统上使用tf.contrib.distribute.MirroredStrategy()，但它不使用GPU进行训练(请参见下面的输出)。我也正在运行tensorflow-gpu 1.12。

我确实尝试直接在MirroredStrategy中指定GPU，但是出现了同样的问题。

model = models.Model(inputs=input, outputs=y_output)
optimizer = tf.train.AdamOptimizer(LEARNING_RATE)
model.compile(loss=lossFunc, optimizer=optimizer)

NUM_GPUS = 2
strategy = tf.contrib.distribute.MirroredStrategy(num_gpus=NUM_GPUS)
config = tf.estimator.RunConfig(train_distribute=strategy)
estimator = tf.keras.estimator.model_to_estimator(model,
                                              config=config)

这些是我得到的结果:

INFO:tensorflow:Device is available but not used by distribute strategy: /device:CPU:0
INFO:tensorflow:Device is available but not used by distribute strategy: /device:GPU:0
INFO:tensorflow:Device is available but not used by distribute strategy: /device:GPU:1
WARNING:tensorflow:Not all devices in DistributionStrategy are visible to TensorFlow session.

预期的结果显然是在Multi GPU系统上进行培训。这些是已知问题吗？

Answer 1

我一直在MirroredStrategy在tensorflow 1.13.1上失败，而2x RTX2080运行Estimator时也遇到了类似的问题。

失败似乎在NCCL all_reduce方法中(错误消息-没有为NCCL AllReduce注册OpKernel)。

我通过从NCCL更改为hierarchy_copy来运行它，这意味着使用contrib cross_device_ops方法，如下所示:

失败的命令:

mirrored_strategy = tf.distribute.MirroredStrategy(devices=["/gpu:0","/gpu:1"])

成功的命令:

mirrored_strategy = tf.distribute.MirroredStrategy(devices=["/gpu:0","/gpu:1"],
                      cross_device_ops=tf.contrib.distribute.AllReduceCrossDeviceOps(
                         all_reduce_alg="hierarchical_copy")
                                                   )