image-processing - 为什么物体检测需要图像分割？

Question

像SLIC这样的图像分割算法有什么意义？无论如何，大多数对象检测算法都可以处理整个（正方形）子图像集。

分割图像的唯一可能的好处是，现在，分类器具有可用的形状信息。那正确吗？

我知道的大多数分类器都采用矩形输入图像。哪些分类器允许您将可变大小的图像段传递给它们？

Answer 1

首先，SLIC和我猜想您所指的那种算法不是分段算法，它们是过度分段算法。这两个术语之间有区别。分割方法将图像分割为对象，而过度分割方法将图像分割为小簇（具有相似特征的空间相邻像素组），这些簇通常称为超像素。请参见下面的超像素图像**：



现在，回答部分原始问题：

为什么要使用超像素？


它们降低了数据的维数/问题的复杂性。从N = w x h像素到M超像素（含M << N）。这就是说，对于由N = 320x480 = 153600像素组成的图像，M = 400或M = 800超像素似乎足以对其进行过度分割。现在，让我们对后者进行分类，只考虑您的问题从N=100K减少到N=800训练示例进行训练/分类的难易程度。超像素仍然遵守图像边界，因此仍可以正确表示您的数据。
它们使您可以计算更复杂的功能。对于像素，您只能对其进行一些简单的统计，或者使用滤镜库/特征提取器来提取其附近的一些特征。但是，这非常局部地代表了像素的邻居，而无需考虑上下文。使用超像素，您可以从属于它的所有像素计算一个超像素描述符。也就是说，通常通常像以前一样在像素级别上计算特征，但是，然后通过不同的方法将特征合并到超像素描述符中。其中一些方法是：超像素内所有像素的简单均值，直方图，词袋，相关性。举一个简单的例子，假设您仅将灰度视为图像/分类器的功能，如果使用简单的像素，则仅拥有像素的强度，该强度非常局部且嘈杂。如果使用超像素，则可以计算内部所有像素的强度的直方图，与单个局部强度值相比，它可以更好地描述区域。
它们使您可以计算新功能。在超像素上，您可以计算一些区域统计信息（一阶为均值或方差或二阶协方差）。现在，您可以提取一些其他以前不可用的信息（例如形状，长度，直径，面积...）。


如何使用它们？


计算像素特征
将像素特征合并到超像素描述符中
分类/优化超像素描述符


在步骤2.中，通过使用直方图求平均或使用词袋模型，对超像素描述符进行固定大小的计算（例如，直方图为100个bin）。因此，最后您将X = N x K训练数据（N = 100K像素乘以K特征）减小为X = M x D（具有M = 1K个超像素和D个超像素描述符的长度）。通常为D > K，但为M << N，因此您将获得一些区域性/更强大的功能，这些功能可以用较低的数据维数更好地表示您的数据，这非常好，并且可以平均2-3阶地减少问题（分类，优化）的复杂性数量级！

结论

您可以计算更复杂（健壮）的功能，但必须注意如何，何时以及为何使用超像素作为数据表示形式。您可能会丢失一些信息（例如，您丢失了2D网格），或者如果没有足够的训练示例，则可能会由于功能更加复杂而使问题变得更加棘手，并且可能是将线性可分离的问题转换为线性问题。非线性的。

**来自SLIC超像素的图像：http://ivrl.epfl.ch/research/superpixels