python - TensorFlow:在多台机器上进行训练时，数据并行端点的目的是什么？

Question

在TensorFlow-slim源代码中，在创建其损失函数时指示了一个端点:

def clone_fn(batch_queue):
  """Allows data parallelism by creating multiple clones of network_fn."""
  images, labels = batch_queue.dequeue()
  logits, end_points = network_fn(images)

  #############################
  # Specify the loss function #
  #############################
  if 'AuxLogits' in end_points:
    slim.losses.softmax_cross_entropy(
        end_points['AuxLogits'], labels,
        label_smoothing=FLAGS.label_smoothing, weight=0.4, scope='aux_loss')
  slim.losses.softmax_cross_entropy(
      logits, labels, label_smoothing=FLAGS.label_smoothing, weight=1.0)
  return end_points

来源:https://github.com/tensorflow/models/blob/master/slim/train_image_classifier.py#L471-L477

我的想法是，有多个相同的网络在不同的机器中训练，最后对变量和参数进行平均，合并到一个网络中(这是正确的吗？)。但我不太明白在这种情况下端点的目的是什么，因为我认为 network_fn 应该只生成用于预测的 logits。 end_points有什么用？

Answer 1

在这种情况下，端点仅跟踪模型的不同输出。例如，AuxLogits 具有 logits。