image-processing - 用于图像分割的后处理多类预测？

Question

我的 FCN 经过训练，可以检测 10 个不同的类别，并生成 500x500x10 的输出，每个最终维度都是不同类别的预测概率。

通常，我见过使用统一阈值(例如 0.5)来对概率矩阵进行二值化。然而，就我而言，这并不能完全解决问题，因为当阈值为 0.3 时，某些类的 IoU 会增加，而其他类为 0.8 时，IoU 会增加。

因此，我不必为每个类别任意选择阈值，而是使用更具概率的方法来最终确定阈值。我想过使用 CRF，但这也需要已经完成阈值处理。关于如何继续的任何想法？

示例:考虑一张有 5 种不同鸟类的森林图像。现在我尝试输出一个图像，该图像已分割森林和五只鸟，6 个类别，每个类别都有一个单独的标签。网络输出 6 个混淆矩阵，表示像素属于特定类别的置信度。现在，像素的正确答案并不总是具有最高置信值的类别。因此，一刀切的方法或最大值方法都行不通。

Answer 1

CRF后处理方法

您无需设置阈值即可使用 CRF。我不熟悉 CRF 的任何 python 库，但原则上，您需要定义的是:

1. 每个节点的 10 个类别的概率分布(像素)，这只是网络的输出。
2. 成对势:10*10 矩阵，其中元素 Aij 表示一个像素属于 i 类而另一个像素属于 j 类的配置的“强度”。如果您将势设置为对角线中的值 alpha (alpha >> 1) 和其他位置的 1，则 alpha 是正则化力，它可以为您提供预测的一致性(如果像素 X 属于 Y 类，则X 更有可能属于同一类)。

这只是如何定义 CRF 的一个示例。

端到端神经网络方法

向网络添加损失，这将惩罚具有不同类别邻居的像素。请注意，您最终仍会得到新正则化损失权重的可调参数。