deep-learning - 分割掩码 RCNN 和 FPN

Question

我正在看论文 https://research.fb.com/wp-content/uploads/2017/08/maskrcnn.pdf来自 Facebook 研究。

Mask RCNN 基于检测器 Faster RCNN，但有一些改进，如 FPN(特征金字塔网络)、ROI 对齐，这似乎比 ROI 池化更准确。但是，我不了解有关 FPN 和 Mask RCNN 中掩码的架构。事实上，FPN 允许获得不同比例的特征图，但是看着纸上的图像我不明白他们是否只使用了 FPN 上的最后一个特征图。



所以，问题是:我们是只使用 RPN 的最后一个特征图，然后使用一些 conv 层来预测掩码(用于分割)还是我们也使用 RPN 的中间层？

Answer 1

mask R-CNN中mask分支中的FCN使用了FPN产生的所有特征图。
Here is Mask R-CNN 的一种这样的实现。
以下是代码片段:

# Attach 3x3 conv to all P layers to get the final feature maps.
P2 = KL.Conv2D(256, (3, 3), padding="SAME", name="fpn_p2")(P2)
P3 = KL.Conv2D(256, (3, 3), padding="SAME", name="fpn_p3")(P3)
P4 = KL.Conv2D(256, (3, 3), padding="SAME", name="fpn_p4")(P4)
P5 = KL.Conv2D(256, (3, 3), padding="SAME", name="fpn_p5")(P5)
# P6 is used for the 5th anchor scale in RPN. Generated by
# subsampling from P5 with stride of 2.
P6 = KL.MaxPooling2D(pool_size=(1, 1), strides=2, name="fpn_p6")(P5)

# Note that P6 is used in RPN, but not in the classifier heads.
rpn_feature_maps = [P2, P3, P4, P5, P6]
mrcnn_feature_maps = [P2, P3, P4, P5]  <--------------

This是作者使用 FPN 的特征图的那一行。