python - Tensorflow 的多边形边界框

Question

据我了解，用于训练自定义对象检测数据集的 tensorflow API 仅使用矩形边界框，即 xmin、xmax、ymax、ymin。我还了解到，多边形边界框将大大提高检测准确性，因为它会删除边界框内的任何不必要信息，从而提供更出色的训练数据集。我目前使用 labelImg 来绑定(bind)我所有的训练图像，它确实提供了多边形框。我的问题是，有没有一种方法可以修改 tensorflow API 中的代码以处理多边形框，而不仅仅是矩形框？

Answer 1

不，此时您可能对语义分割更感兴趣，例如 Mask R-CNN(未在 Tensorflow 的对象检测 API 中实现)。API 中的模型具有特定的可微分层(因此可训练)，可以找到边界框。多边形模型的自由度会更复杂。 Mask R-CNN 通过识别对象在某种程度上解决了多边形问题，然后在边界框内分割实际上是对象与背景的内容。

下面介绍一些用于对象检测的流行算法及其工作原理:

https://blog.athelas.com/a-brief-history-of-cnns-in-image-segmentation-from-r-cnn-to-mask-r-cnn-34ea83205de4?gi=b386f4274020