opencv - 如何裁剪图像的 roi

Question

在我的项目中，我想裁剪图像的 ROI。为此，我创建了一个包含感兴趣区域的 map 。现在我想裁剪具有最重要像素的区域(黑色不重要，白色很重要)。

有人知道如何实现它吗？我认为这是一个最大化问题
下图中的红色边框是我要如何裁剪此图像的示例

Answer 1

如果我正确理解了您的问题，那么您已经计算了图像中每个点的值。这些值表明每个点的“重要性”/“趣味性”/“显着性”。包含这些值的矩阵/图像是您所指的“ map ”。您的目标是获得具有高“重要性”分数的感兴趣区域 (ROI) 的边界框。

我认为您可以分割 ROI 的方法是应用基于 Graph Cut 的分割，使用重要性图在每个像素处计算“分数”。分割的结果是一个二进制掩码，它掩盖了“重要”像素。接下来，运行 OpenCV 的 findcontours在此二进制掩码上运行以获取各个连接的组件。然后使用 OpenCV 的 boundingRect findContours(...) 返回的轮廓上的函数以获取边界框。

以这种方式使用基于 Graph Cut 的分割算法的好处在于，它将连接碎片化的组件，即即使您的“重要性”图嘈杂，生成的二进制掩码也不会有小洞。

在 OpenCV 中已经实现的一种基于 Graph Cut 的分割算法是 GrabCut 算法。一个快速的技巧是将它应用到你的“重要性” map 上，以获得我上面提到的二进制掩码。一种更复杂的方法是使用您的“重要性”图构建前景和背景(可能是颜色？)模型并将其作为输入传递给函数。有关 OpenCV 中 GrabCut 的更多详细信息，请参见:http://docs.opencv.org/modules/imgproc/doc/miscellaneous_transformations.html?highlight=grabcut#void grabCut(InputArray img, InputOutputArray mask, Rect rect, InputOutputArray bgdModel, InputOutputArray fgdModel, int iterCount, int mode)

如果您想要更大的灵 active ，您可以使用以下 MRF 库破解您自己的基于图形的分割算法。该库允许您在计算图割时指定自定义目标函数:http://vision.middlebury.edu/MRF/code/

要使用 MRF 库，您需要在图像中的每个点指定“成本”，指示该点是“前景”还是“背景”。您也可以将这种二分法视为“重要”或“不重要”，而不是“前景”与“背景”。
MRF 库的目标是在每个点返回一个标签，以便分配这些标签的总成本尽可能小。因此，游戏是想出一个函数来计算你认为重要的点的小成本，否则大。

具体来说，每个点的成本由两部分组成:1)数据项/函数和 2)平滑项/函数。如前所述，每个点的数据项越小，该点被选中的可能性就越大。如果您的“重要性”分数 s_ij 在 [0, 1] 范围内，那么计算数据项的常用方法是 -log(s_ij)。

平滑项是一种建议 2 个相邻像素 p、q 是否应该具有相同标签的方法，即“前景”、“背景”或一个“前景”和另一个“背景”。与数据成本类似，您必须构建它，使得具有相似“重要性”分数的相邻像素的成本很小，以便为它们分配相同的标签。该术语负责“平滑”生成的蒙版，这样您就不会在“重要性”高的区域内散布低“重要性”的像素，反之亦然。如果有这样的区域，上面提到的 OpenCV 的 findContours(...) 函数将返回这些区域的轮廓，也许可以通过检查它们的大小来过滤掉它们。

有关计算成本的函数的详细信息，请参阅 GrabCut 论文:GrabCut

这篇博文提供了更多关于在 OpenCV 中创建自己的图形分割算法的详细信息(和代码):http://www.morethantechnical.com/2010/05/05/bust-out-your-own-graphcut-based-image-segmentation-with-opencv-w-code/

另一篇论文展示了如何在 GrabCut 论文中使用更好的符号和没有复杂的图像抠图部分(未在 OpenCV 版本中实现)对灰度图像(您的情况)执行图形切割分割，这是:Graph Cuts and Efficient N-D Image Segmentation

希望这可以帮助。