python - 基于显着性的部分信息寻找完整轮廓

Question

我正在使用深度学习方法来查找图像中的显着对象。显着性查找器的输出是像素级信息(在 0-1 之间)。基于一些阈值，我得到了图像中的一个区域。但很多时候，它只是一个部分对象。请看下面的图片:

左边的图像是输入，在第二列，第一行表示显着性的输出，第二行是轮廓。

Contours 是我尝试过的东西。但是不知道如何结合显着性和轮廓来获得对象。在输入图像中，我会寻找一个完整的男孩。

你能推荐什么方法吗？

Answer 1

我认为显着性和“得到一个对象”，在文献中称为语义顺序对象分割，是两个截然不同的问题，将它们混合可能不会得到好的结果。

如果我没记错的话，显着性在很大程度上是关于预测人类注意力会首先出现在图像中的哪个位置。预测器通常基于注意力的科学理论或大脑的注意力机制，或者任何似乎合理的“显着性”定义。

这是一个比对象分割更简单的问题。 “对象”是一个非常高层次和非常语义化的概念(在你的例子中什么是对象？整个人？他的脸，衬衫，腿，鞋子？)。语义分割算法试图找到精确的边界，而显着性检测器只是给你一种热图。 Here's a nice, fairly recent overview .

那你该怎么办呢？

• 如果您追求对象，请摆脱显着性并尝试运行最先进的对象分割网络。现在所有的方法都是基于深度学习。

• 如果您想要显着对象，从分割开始，然后根据它们与显着图的重叠对找到的对象进行评分。

不要陷入从等高线获取对象的困境。行不通。人们在深度学习之前已经这样做了很多年。与对象分类一样，它是计算机视觉领域中深度学习向前迈进了一大步的领域之一，尽管我根本不认为它已经解决了。