computer-vision - 使用现有层在 Caffe 中进行 L2 归一化

Question

我正在尝试在 Caffe 中为一个层执行 L2 归一化。这个想法是在对比损失中使用这些 L2 归一化 fc7 特征，例如 http://www.cs.cornell.edu/~kb/publications/SIG15ProductNet.pdf .

我可以找到一些链接，人们在那里发布了 L2 规范化层的代码。但是我想知道是否可以使用 Caffe 的本地响应归一化层或任何其他层。

我有一个 1x2048 的最终 fc 向量(2048 个 channel ，大小为 1x1)。有人可以指导我吗？

Answer 1

您可以使用简单层的组合在 Caffe 中执行 L2 规范化:

layer {
  name: "denom"
  type: "Reduction"
  bottom: "loss"
  top: "denom"
  reduction_param {
    operation: SUMSQ
    axis: 1
  }
}
layer {
  name: "power"
  type: "Power"
  bottom: "denom"
  top: "power"
  power_param {
    power: -0.5
    shift: 9.99999996004e-13
  }
}
layer {
  name: "reshape"
  type: "Reshape"
  bottom: "power"
  top: "reshape"
  reshape_param {
    shape {
      dim: 1
    }
    axis: -1
    num_axes: 0
  }
}
layer {
  name: "tile"
  type: "Tile"
  bottom: "reshape"
  top: "tile"
  tile_param {
    axis: 1
    tiles: 300
  }
}
layer {
  name: "elwise"
  type: "Eltwise"
  bottom: "loss"
  bottom: "tile"
  top: "elwise"
  eltwise_param {
    operation: PROD
  }
}