machine-learning - 如何用caffe实现maxout？

Question

我对 Caffe 很陌生，但想在我的项目中添加 maxout 层。网站上有一些关于maxout的代码，比如

implement maxout with caffe
我的代码在这里:

layers {
  name: "conv1"
  type: CONVOLUTION
  bottom: "data"
  top: "conv1"
  blobs_lr: 1
  blobs_lr: 2
  weight_decay: 1
  weight_decay: 0
  convolution_param {
    num_output: 16
    kernel_size: 9
    stride: 1
  }
}
layers {
  name: "slice1"
  type: "Slice"
  bottom: "Conv1"
  top: "slice1A"
  top: "slice1B"
  top: "slice1C"
  top: "slice1D"
  slice_param{
    axis: 1
    slice_point: 4
    slice_point: 8
    slice_point: 12
  }
}
layers {
  name: "maxout1"
  type: ELTWISE
  bottom: "slice1A"
  bottom: "slice1B"
  bottom: "slice1C"
  bottom: "slice1D"
  top: "maxout1"
  eltwise_param {
    operation:MAX
  }
}

这里，我使用SLICE层将conv1层分成四层并进行ELTWISE操作。将有四个输出，但我不知道 slice1A、slice1B、slice1C 和 slice1D 如何进行MAX操作。 下图是我的看法。
ELTWISE diagram of this code snippet
非常感谢!

Answer 1

首先，简单来说，maxout 要做的就是以两个或多个张量作为输入，这些张量的维度完全相同，例如，以 2 个 10 维向量作为输入，然后在2个向量选择最大值作为maxout的输出向量的元素，最终得到一个10维向量。您可以将此过程视为一个融合过程。

然后到代码中的ELTWISE层，该层正是要完成上述过程。具体来说，ELTWISE层会分别从每个底层conv1A,conv1B中取出一个元素，然后从这两个元素中选择最大值作为输出ma​​xout1的元素并依次重复此操作，直到底部的最后一个位置。最大化操作由下式指定 “eltwise_param { 操作:最大 }”在您的代码中。