image-processing - 什么是图像分割不平衡？

Question

我知道图像分类问题(例如猫与狗分类)中的不平衡，如果猫图像太多而狗图像太少。但我不知道如何解决分割问题中的不平衡。

例如，我的任务是从卫星图像中掩盖云层，所以我将问题转化为两类分割，一类是云，另一类是背景。该数据集有 5800 张 4-band-16bits 图像，尺寸为 256*256。架构为Segnet，损失函数为二元交叉熵。

假设有两种情况:

1. 所有样本的一半完全被云覆盖，一半没有任何云。
2. 在每张图像中，一半被云覆盖，一半没有。

所以，我猜情况 2 是平衡的，但是情况 1 呢？

在现实和我的任务中，这两种情况在源卫星图像中是不可能的，因为云层相对于背景总是相对较小，但如果图像样本由于其尺寸较大而从源图像中裁剪，则会出现一些新情况.

因此，样本始终包含三种类型的图像:

1. 完全被云层覆盖(5800 个样本中有 254 个)。
2. 没有任何云(5800 个样本中的 1241 个)。
3. 有些地区被云覆盖，有些地区则没有。 (5800 中有 4305，但我不知道云百分比，可能在某些样本中非常高，在其他样本中可能很少)

我的问题:

样本是否不平衡，我该怎么办？

提前致谢。

Answer 1

通常，在分割任务中，如果对于每个图像，属于每个类/分段的像素数量大致相同(问题中的情况 2)，则人们会认为他/她的样本是“平衡的”。
在大多数情况下，样本永远不会平衡，就像您的示例中一样。

会出现什么问题？当有一个片段/类在样本中占主导地位时，模型可能会发现更容易将所有像素输出为属于主导类/片段。这种持续的预测虽然信息量不大，但仍然可以产生较高的准确度和较小的损失。

如何检测出这样的错误结果？您可以使“Accuracy”层不仅输出整体精度，还输出per-class准确性。如果您的模型“锁定”在单个类上，则所有其他类的每类准确度将非常低。

我能做什么？您可以使用"InfogainLoss"层对其他类别的错误给予更多权重，以抵消主导类别的影响。