neural-network - 在 Caffe 框架中修改 ReLU 中的阈值

Question

我是 Caffe 的新手，现在我需要修改卷积神经网络中 ReLU 层的阈值。我现在用来修改阈值的方法是编辑 caffe/src/caffe/layers/relu_layer.cpp 中的 C++ 源代码，并重新编译它。但是，这会在每次调用 ReLU 时将阈值更改为指定值。有没有办法在网络中的每个 ReLU 层中使用不同的值作为阈值？顺便说一句，我正在使用 pycaffe 界面，但找不到这样的方法。

最后，抱歉我的英文不好，如果有不清楚的地方，请告诉我，我会尽量详细描述。

Answer 1

是的你可以。在 src/caffe/proto ，添加一行:

message ReLUParameter {
  ...
  optional float threshold = 3 [default = 0]; #add this line
  ... 
}

并在 src/caffe/layers/relu_layer.cpp ，做一些小的修改:

template <typename Dtype>
void ReLULayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,
    const vector<Blob<Dtype>*>& top) {
  ...
  Dtype threshold = this->layer_param_.relu_param().threshold(); //add this line
  for (int i = 0; i < count; ++i) {
    top_data[i] = (bottom_data[i] > threshold) ? (bottom_data[i] - threshold) : 
                  (negative_slope * (bottom_data[i] - threshold));
  }
}

template <typename Dtype>
void ReLULayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top,
    const vector<bool>& propagate_down,
    const vector<Blob<Dtype>*>& bottom) {
  if (propagate_down[0]) {
    ...
    Dtype threshold = this->layer_param_.relu_param().threshold(); //this line
    for (int i = 0; i < count; ++i) {
      bottom_diff[i] = top_diff[i] * ((bottom_data[i] > threshold)
          + negative_slope * (bottom_data[i] <= threshold));
    }
  }
}

同样在 src/caffe/layers/relu_layer.cu代码应该是 this .

并在编译您的 caffe 之后和 pycaffe , 在您的 net.prototxt ，你可以写一个 relu层如:

layer {
  name: "threshold_relu"
  type: "ReLU"
  relu_param: {threshold: 1 #e.g. you want this relu layer to have a threshold 1}
  bottom: "input"
  top: "output"
}