tensorflow - Matterport Mask R-CNN - 不可预测的损失值和较大图像的奇怪检测结果

Question

我无法使用 Mask R-CNN 获得可行的结果，而且我似乎无法查明原因。我使用的大型灰度图像 (​​2560 x 2160) 的数据集相当有限(13 个图像)，其中检测目标非常小(平均面积为 26 像素)。我已在我的数据中运行inspect_nucleus_data.ipynb，并验证掩码和图像是否被正确解释。我还遵循 wiki 指南 ( https://github.com/matterport/Mask_RCNN/wiki ) 将我的图像作为灰度图像读取和处理，而不仅仅是将它们转换为 RGB。这是标记有检测目标的图像之一。

在训练过程中，损失值非常难以预测，在 1 和 2 之间波动，但从未达到似乎完全收敛的稳定下降。我现在正在使用这些配置值；它们是我在对抗 OOM 错误时能想到的最好的方法:

Configurations:
BACKBONE                       resnet101
BACKBONE_STRIDES               [4, 8, 16, 32, 64]
BATCH_SIZE                     1
BBOX_STD_DEV                   [0.1 0.1 0.2 0.2]
COMPUTE_BACKBONE_SHAPE         None
DETECTION_MAX_INSTANCES        450
DETECTION_MIN_CONFIDENCE       0
DETECTION_NMS_THRESHOLD        0.3
FPN_CLASSIF_FC_LAYERS_SIZE     1024
GPU_COUNT                      1
GRADIENT_CLIP_NORM             5.0
IMAGES_PER_GPU                 1
IMAGE_CHANNEL_COUNT            1
IMAGE_MAX_DIM                  1024
IMAGE_META_SIZE                14
IMAGE_MIN_DIM                  1024
IMAGE_MIN_SCALE                0
IMAGE_RESIZE_MODE              square
IMAGE_SHAPE                    [1024 1024    1]
LEARNING_MOMENTUM              0.9
LEARNING_RATE                  0.001
LOSS_WEIGHTS                   {'mrcnn_class_loss': 1.0, 'mrcnn_bbox_loss': 1.0,     'rpn_bbox_loss': 1.0, 'mrcnn_mask_loss': 1.0, 'rpn_class_loss': 1.0}
MASK_POOL_SIZE                 14
MASK_SHAPE                     [28, 28]
MAX_GT_INSTANCES               450
MEAN_PIXEL                     [16.49]
MINI_MASK_SHAPE                (56, 56)
NAME                           nucleus
NUM_CLASSES                    2
POOL_SIZE                      7
POST_NMS_ROIS_INFERENCE        1000
POST_NMS_ROIS_TRAINING         2000
PRE_NMS_LIMIT                  6000
ROI_POSITIVE_RATIO             0.33
RPN_ANCHOR_RATIOS              [0.5, 1, 2]
RPN_ANCHOR_SCALES              (2, 4, 8, 16, 32)
RPN_ANCHOR_STRIDE              1
RPN_BBOX_STD_DEV               [0.1 0.1 0.2 0.2]
RPN_NMS_THRESHOLD              0.9
RPN_TRAIN_ANCHORS_PER_IMAGE    512
STEPS_PER_EPOCH                11
TOP_DOWN_PYRAMID_SIZE          256
TRAIN_BN                       False
TRAIN_ROIS_PER_IMAGE           256
USE_MINI_MASK                  True
USE_RPN_ROIS                   True
VALIDATION_STEPS               1
WEIGHT_DECAY                   0.0001

我正在对所有层进行训练。我得到的输出通常看起来像这样，在奇怪的地方发现了类似网格的检测，但似乎从未准确地识别出细胞核。我添加红色方 block 只是为了突出显示被遗漏的非常明显的原子核簇:

这是这些相同检测的二进制掩码，以便您可以看到它们的形状:

有人能解释一下这里可能出了什么问题吗？

Answer 1

当您将训练图像尺寸调整一半时，一些信息会丢失。Square 也使用大量内存。所以你可能想使用裁剪来代替。方形模式下的分辨率不是 1024*1024，而是 512*512。由于边界框超出范围，您可能会遇到 NAN，在这种情况下，您需要对数据源进行一些调整。

您想要关闭迷你蒙版，因为这会影响您的准确性。使用裁剪模式应该对内存有很大帮助。所以你不用担心。