tensorflow - mAP 随着训练 tensorflow 目标检测 SSD 的增加而降低

Question

我正在尝试训练 SSD mobilenet 检测器来检测显微图像中的细胞核。我在 Ubuntu 16.04 上使用 Tensorflow 对象检测 API 以及 Tensorflow(版本 1.4)的 GPU 实现。我的输入图像是带有注释细胞核的 256x256 RGB jpg 图 block 。

当我开始训练时，我发现 mAP 有了很大的提高，并且在大约 6k 全局步骤(批量大小为 12)时，我可以检测到大多数细胞核，但可以对同一细胞核进行多次检测。

奇怪的是，在这一点之后 mAP 开始下降，并且模型检测到的细胞核越来越少，尽管 TotalLoss 继续下降。在 100k 步时，几乎没有检测到细胞核。

我使用 SSD 的标准配置文件，只是我减少了匹配/不匹配框的截止值。如果我不使用此修改，模型将很难检测任何细胞核，因为它们是很小的物体，并且与它们重叠的框太少。

matcher {
  argmax_matcher {
    matched_threshold: 0.3
    unmatched_threshold: 0.3
    ignore_thresholds: false
    negatives_lower_than_unmatched: true
    force_match_for_each_row: true
  }

为什么即使 TotalLoss 有所改善，mAP 和检测精度也会随着时间的推移而下降？我对结果的直觉是，检测模型变得越来越准确(从来没有误报)，但敏感度却越来越低(大量误报)。

非常感谢任何建议!

(这是来自张量板的一些示例图像)

0 steps

1241 steps

53024 steps

92176 steps

Answer 1

好吧，经过对配置文件的一些实验(=盲目猜测)，我想我找到了问题的答案 - 我将其放在这里希望其他人能够受益。

首先，mAP下降的原因可能是设置:

matched_threshold: 0.3
unmatched_threshold: 0.3

根据我的实验，将此设置降低到 0.5 以下(就像我所做的那样)似乎会破坏模型的稳定性，并使其在训练期间崩溃(随着时间的推移，mAP 会逐渐减小)。

其次，当尝试检测显微图像中的细胞核时(这可能也适用于已知尺寸的其他小物体)，SSD 似乎对 anchor 生成器中的最小/最大设置非常敏感。

anchor_generator {
  ssd_anchor_generator {
    num_layers: 6
    min_scale: 0.2
    max_scale: 0.95

当我开始时(并且不断失败)，我对此设置使用了大致估计，当使用不同的图像尺寸等时，突然在 128x128 像素下，模型变得非常好，mAP 0.9 检测到或多或少的每个细胞。当试图找出它突然起作用的原因时，我在图像中带注释的对象的相对大小上打印了直方图，我意识到我很幸运使用了 128x128 模型配置文件并精确地达到了范围。

然后我回到所有其他模型和尺寸，当在特定图像尺寸中使用细胞核尺寸的精确范围时，即使在细胞核较大的图像尺寸(例如 512px)下，模型也表现完美。仅占用图像宽度的3-15%。即使在 1024 像素下采样到 512 并且核仅覆盖图像宽度的 1-7%，只要精确指定尺寸范围，模型就可以正常运行。

对于我的应用程序来说，这实际上不是问题，因为我事先知道期望的功能大小，但对于更普遍的问题，我猜这是一个弱点..