machine-learning - "BatchNorm"层在caffe中应该如何使用？

Question

我对如何使用/插入"BatchNorm"有点困惑我的模型中的图层。
我看到了几种不同的方法，例如:

ResNets : "BatchNorm"+"Scale" (无参数共享)

“BatchNorm” 层紧随其后的是 “Scale” 层:

layer {
    bottom: "res2a_branch1"
    top: "res2a_branch1"
    name: "bn2a_branch1"
    type: "BatchNorm"
    batch_norm_param {
        use_global_stats: true
    }
}

layer {
    bottom: "res2a_branch1"
    top: "res2a_branch1"
    name: "scale2a_branch1"
    type: "Scale"
    scale_param {
        bias_term: true
    }
}

cifar10 example :仅“BatchNorm”

在caffe提供的cifar10示例中，使用了“BatchNorm”，后面没有任何“Scale”:

layer {
  name: "bn1"
  type: "BatchNorm"
  bottom: "pool1"
  top: "bn1"
  param {
    lr_mult: 0
  }
  param {
    lr_mult: 0
  }
  param {
    lr_mult: 0
  }
}

cifar10 TRAIN 和 TEST

的 batch_norm_param 不同

batch_norm_param:use_global_scale在TRAIN和TEST阶段之间更改:

layer {
  name: "bn1"
  type: "BatchNorm"
  bottom: "pool1"
  top: "bn1"
  batch_norm_param {
    use_global_stats: false
  }
  param {
    lr_mult: 0
  }
  param {
    lr_mult: 0
  }
  param {
    lr_mult: 0
  }
  include {
    phase: TRAIN
  }
}
layer {
  name: "bn1"
  type: "BatchNorm"
  bottom: "pool1"
  top: "bn1"
  batch_norm_param {
    use_global_stats: true
  }
  param {
    lr_mult: 0
  }
  param {
    lr_mult: 0
  }
  param {
    lr_mult: 0
  }
  include {
    phase: TEST
  }
}

那么它应该是什么？

应该如何在caffe中使用“BatchNorm”层？

Answer 1

如果您遵循原始论文，则 Batch 归一化后面应该是 Scale 和 Bias 层(可以通过 Scale 包含偏差，尽管这会使 Bias 参数无法访问)。 use_global_stats 还应该从训练 (False) 更改为测试/部署 (True) - 这是默认行为。请注意，您给出的第一个示例是用于部署的prototxt，因此将其设置为True是正确的。

我不确定共享参数。

我提出了一个拉取请求来改进批量规范化的文档，但后来因为我想修改它而关闭了它。然后，我就再也没有回过头来。

请注意，我认为 "BatchNorm" 的 lr_mult: 0 不再需要(也许不允许？)，尽管我现在没有找到相应的 PR。