python - 是否可以在每个像素有多个标签的情况下进行像素级分类？

Question

使用 CNN，我想拍摄一张图像，其中每个像素都用 3 个标签进行注释。像这样的事情:

0,1 (not object/object)
0,1,2,3... (Class of object, eg cat,dog)
0,1,2,3...(Object Number of given class eg, 2nd instance of cat)

换句话说，给定一张多只猫和狗的图片，CNN 将输出给定像素来自一个对象，该对象是一只猫，并且它属于图像中的第二个猫实例(从左上角开始计数)例如手角)。

这可以用单个 CNN 来实现吗？还是我必须组合多个 CNN 才能实现此结果？

编辑:我应该注意，我知道我最初必须使用带注释的图像来训练 CNN，其中每个像素已经有 2 或 3 个标签，如上所述。

Answer 1

您应该研究一下全卷积神经网络。基本上，这些是没有全连接层的 CNN，而是包含反卷积层。因此，给定一个 NxN 大小的图像，它会输出一个 NxN 大小的图像，每个像素都有一个自己的标签，这在语义分割中有直接的应用。