tensorflow - tensorflow 模型中使用 Faster-RCNN 进行小物体检测

Question

我正在尝试训练用于小数字检测的 fast-rccn 模型。我正在使用新发布的tensorflow object detection API到目前为止，我们已经对预训练的 faster_rcnn_resnet101_coco 进行了微调来自动物园。我所有的训练尝试都产生了高精度但召回率低的模型。在每张图像上的约 120 个对象(数字)中，仅检测到约 20 个对象，但检测到时分类是准确的。 (此外，我能够在裁剪后的图像上以高精度从头开始训练一个简单的卷积网络，因此问题出在模型的检测方面。)原始图像中的每个数字平均为 60x30(可能大约是该大小的一半)在将图像输入模型之前调整大小之后。)这是一个示例图像，其中包含我所看到的检测到的框:

对我来说奇怪的是它如何能够正确检测相邻数字，但完全错过像素尺寸非常相似的其余数字。

我已经尝试调整 anchor 框生成和first_stage_max_proposals周围的超参数，但到目前为止没有任何改善结果。这是一个例子config我用过的文件。我还应该尝试调整哪些其他超参数？关于如何诊断问题还有其他建议吗？我应该研究其他architectures或者我的任务看起来可以用 fast-rccn 和/或 SSD 完成吗？

Answer 1

最后，最直接的问题是我没有正确使用可视化工具。通过按照 Johnathan 在评论中所述更新 visualize_boxes_and_labels_on_image_array 的参数，我发现我至少检测到的框比我想象的要多。