Keras 多类语义分割标签

Question

对于语义分割，您通常最终会得到最后一层类似于
output = Conv2D(num_classes, (1, 1), activation='softmax')

我的问题是，我如何为此准备标签？例如，如果我有 10 个要识别的类，每个类都有不同的颜色。对于每个标签图像，我是否需要对一种特定颜色应用 mask ，将其转换为灰度图像，以便我可以与模型输出中的 1 个过滤器进行比较？或者有没有办法将一张完整的RGB图片作为标签传递？

Answer 1

您的网络的输出将是具有 10 个 channel 的图像，其中每个像素将由一个概率向量组成，其总和为 1(由于 softmax)。示例:[0.1,0.1,0.1,0.05,0.05,0.1,0.1,0.1,0.1,0.2]。您希望标签图像具有相同的形状:具有 10 个 channel 的图像，每个像素是一个二进制向量，类的索引处为 1，其他位置为 0。您的分割损失函数就是像素级交叉熵。

为了实现:keras 中的 softmax 有一个轴参数:https://keras.io/activations/#softmax