python - 使用 Fast/Faster-RCNN 在 C++ 上制作对象检测器的最简单方法是什么？

Question

在 C++ 上使用 Fast/Faster-RCNN 和 Caffe 制作对象检测器的最简单方法是什么？

众所周知，我们可以在 Caffe 中使用 follow RCNN(基于区域的卷积神经网络):

• RCNN:https://github.com/BVLC/caffe/blob/be163be0ea5befada208dbf0db29e6fa5811dc86/python/caffe/detector.py#L174

• 快速 RCNN:https://github.com/rbgirshick/fast-rcnn/blob/master/tools/demo.py#L89

scores, boxes = im_detect(net, im, obj_proposals) 调用 def im_detect(net, im, boxes):

为此使用了rbgirshick/caffe-fast-rcnn , ROIPooling-layers 和输出 bbox_pred

• 更快的 RCNN:https://github.com/rbgirshick/py-faster-rcnn/blob/master/tools/demo.py#L82

scores, boxes = im_detect(net, im) 调用 def im_detect(net, im, boxes=None):

为此使用了rbgirshick/caffe-fast-rcnn , ROIPooling-layers 和输出 bbox_pred

所有这些都使用 Python 和 Caffe，但是如何在 C++ 和 Caffe 上实现呢？

只有 C++ 示例用于分类(说明图像上的内容)，但没有用于检测的示例(说明图像上的内容和位置):https://github.com/BVLC/caffe/tree/master/examples/cpp_classification

简单地克隆rbgirshick/py-faster-rcnn就够了吗？存储库与 rbgirshick/caffe-fast-rcnn ，下载预存模型./data/scripts/fetch_faster_rcnn_models.sh，用这个coco/VGG16/faster_rcnn_end2end/test.prototxt并在 CaffeNet C++ Classification example 中做了一个小改动?

我怎样才能得到两层的输出数据bbox_pred和 cls_score ?

我会将所有 (bbox_pred & cls_score) 放在一个数组中吗:

const vector<Blob<float>*>& output_blobs = net_->ForwardPrefilled();
Blob<float>* output_layer = output_blobs[0];
  const float* begin = output_layer->cpu_data();
  const float* end = begin + output_layer->channels();
  std::vector<float> bbox_and_score_array(begin, end);

还是在两个数组中？

const vector<Blob<float>*>& output_blobs = net_->ForwardPrefilled();

Blob<float>* bbox_output_layer = output_blobs[0];
  const float* begin_b = bbox_output_layer ->cpu_data();
  const float* end_b = begin_b + bbox_output_layer ->channels();
  std::vector<float> bbox_array(begin_b, end_b);

Blob<float>* score_output_layer = output_blobs[1];
  const float* begin_c = score_output_layer ->cpu_data();
  const float* end_c = begin_c + score_output_layer ->channels();
  std::vector<float> score_array(begin_c, end_c);

Answer 1

对于那些仍在寻找它的人，这个 project 中有一个 C++ 版本的 fast-RCNN 和 caffe .您甚至可以找到一个 c++ api 将其包含在您的项目中。我已经测试成功了。