python - 使用 Python OpenCV，您将如何提取特定颜色边界框内的图像区域？

Question

给定一张我手动绘制了彩色边界框的照片，我想复制/裁剪图像内容，以将内容保留在边界框内。

目标是检测颜色边界框，然后用它来告诉脚本复制/裁剪的位置。

我已经尝试过等高线，但似乎我需要额外的步骤。

也许是一种方法:

• 检测有界区域
• 找到最小区域(框线的粗细可以变化，所以我需要内部边界区域 - 边界最终将是物理世界中的彩色海报板切口框)
• 脚本为该区域创建了一个 mask
• 抓取图片

可能有更好的方法；最好的方法是什么？我会使用哪些 Python OpenCV 方法？

根据我目前的实验代码(我正在探索通过轮廓大小获取面积，但我认为我需要更好的轮廓代码):

import numpy as np
import cv2

image_dir = "/Users/admin/Documents/dir/dir2/"

im = cv2.imread(image_dir+'test_image_bounded.png')
imgray = cv2.cvtColor(im,cv2.COLOR_BGR2GRAY)
ret,thresh = cv2.threshold(imgray,176,190,43)
#ret,thresh = cv2.threshold(imgray,127,255,0)
contours, hierarchy =         cv2.findContours(thresh,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)

areaArray = []
count = 1

for i, c in enumerate(contours):
    area = cv2.contourArea(c)
    areaArray.append(area)

#first sort the array by area
sorteddata = sorted(zip(areaArray, contours), key=lambda x: x[0], reverse=True)

#find the nth largest contour [n-1][1], in this case 2
largestcontour = sorteddata[0][2]

#draw it
x, y, w, h = cv2.boundingRect(largestcontour)
cv2.drawContours(im, largestcontour, -1, (255, 0, 0), 2)
cv2.rectangle(im, (x, y), (x+w, y+h), (0,255,0), 2)
cv2.imwrite(image_dir+'output.jpg', im)

编辑--------------------------------

通过颜色检测、形态学、抓取第二大阈值，我已经设法得到了一些相当不错的结果

这里是一些相关的代码:

green_MIN = np.array([45, 25, 25],np.uint8)
green_MAX = np.array([55, 255, 255],np.uint8)

hsv_img = cv2.cvtColor(img,cv2.COLOR_BGR2HSV)

frame_threshed = cv2.inRange(hsv_img, green_MIN, green_MAX)

#image = cv2.imread('...') # Load your image in here
# Your code to threshold
#image = cv2.adaptiveThreshold(image, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 45, 0)    

# Perform morphology
se = np.ones((20,20), dtype='uint8')
image_close = cv2.morphologyEx(frame_threshed, cv2.MORPH_CLOSE, se)

HSV 值令人痛苦；我想自动化那部分。这有助于获得值(value): https://achuwilson.wordpress.com/2012/02/14/hsv-pixel-values-in-opencv/

Answer 1

我的快速建议是:

1) 按颜色过滤，因为矩形是绿色的。图像本身也可能存在绿色，但这会减少误报。

2) 检测构成矩形的线。

现在这可以通过多种方式完成。一种更通用的方法是使用霍夫变换。我不知道可以直接搜索矩形的实现，尽管您也可以实现它。 HoughLinesP函数将查找线条，您可以选择那些构成矩形的线条。

但是，在您的应用程序中，您可能有相当严格的假设，这将使这个问题变得容易得多。如果边界框从不旋转，您可以简单地遍历行和列以找到那些具有您要查找的颜色的最大像素的行和列。这可以扩展为查找连续像素以找到线段，但甚至可能不是必需的。