tensorflow - SSD 对象检测如何计算它的类分数和 bbx 位置？

Question

如 paper我可以理解 SSD 尝试从不同的特征图预测对象位置及其相关类分数。


所以对于每一层，对于不同尺度的 anchor (引用)框的数量，可以有不同的预测。

所以如果一个卷积特征图有 5 个引用框，那么每个引用框都应该有类分数和 bbx 坐标。

我们通过在不同层的特征图上滑动窗口(内核示例:3*3)来进行上述预测。所以我不清楚的是从一个位置的滑动窗口到得分层的连接。

1.它只是以全连接的方式将卷积窗口输出连接到评分层？
2.或者我们在将其连接到分数层之前对卷积窗口输出进行一些其他操作？

Answer 1

类别分数和 bbx 预测是通过卷积获得的。这是之间的区别YOLO 和固态硬盘 . SSD 不采用完全连接的方式。我将解释如何使用 score 函数。



以上是 ssd 特征提取器模型中的 8 *8 空间大小的特征图。 对于特征图中的每个位置，我们将预测以下

4 个 BBX 坐标 w.r.t 默认框(以虚线显示)

每个默认框的类分数(c 类数)

假设我们有 k 个默认( anchor )框，我们预测 *(4+c)K

现在是棘手的部分。我们如何得到这些分数。

这里我们使用一组具有特征图深度的卷积核。 (通常为 3*3)

由于有 (4+C) 个预测 w.r.t 单 anchor 箱就像我们有 (4+C) 上面提到的具有特征图深度的内核。 所以它更像是一组过滤器。

这组过滤器将预测高于 (4+c) 标量。

所以对于单个特征图，如果有 K 个 anchor 框我们在预测中引用它们，

我们有 **K *(4+c) 过滤器(空间位置为 3*3)以滑动窗口方式应用于特征图的每个位置。**

我们训练那些过滤器值!
.