python - 在 OpenCV Grabcut python 中同时使用 rect 和 mask

Question

我在 Windows 上的 Python 中使用 OpenCV 3 alpha。我有一个背景减法方法，可以使用 grabcut 进行图像分割。所以我有 MOG 检测器，可以为我提供一些关于可能的前景和背景的信息。例如，这里是当前图像(为可视化而给出的矩形)。

这是 MOG 检测器的输出。

我想将这些信息输入到 cv2.grabcut 中。我希望我不需要分割整个图像，并且指定已知对象周围的区域并传递可能的前景和背景会更快(？)。 blob 存储为形状多边形，其边界为 xmin、ymin、xmax、ymax

#expand the bounding box of the polygons about 5 times
b=blob.buffer(50).bounds

#change to integer
rect=[int(x) for x in b]

#Shapely give coordinates in xmin,ymin,xmax,ymax

#Format into x,y,w,h required by grabcut in opencv
rectf=tuple([rect[0],rect[1],rect[2]-rect[0],rect[3]-rect[1]])                                                 

#create a mask
mask = np.zeros(grabCUTimage.shape[:2],np.uint8)

#Make anywhere black in the grey_image (output from MOG) as likely background
#Make anywhere white in the grey_image (output from MOG) as definite foreground
mask[grey_image == 0] = 2
mask[grey_image == 255] = 1    

#Make containers                                
bgdModel = np.zeros((1,65),np.float64)
fgdModel = np.zeros((1,65),np.float64)                        

#Run grabcut
cv2.grabCut(grabCUTimage,mask,rectf,bgdModel,fgdModel,4,cv2.GC_INIT_WITH_RECT)

#Multiple new mask by original image to get cut            
mask2 = np.where((mask==2)|(mask==0),0,1).astype('uint8')
cGB =grabCUTimage*mask2[:,:,np.newaxis]

这总是给我一个黑色图像。所有背景。

当我使用 cv2.GC_INIT_WITH_MASK 进行初始化时，它可以正常工作(请忽略红色方 block )。然而，它肯定会忽略矩形，因为有时它会包括远在矩形边界之外的估计前景(在这种情况下未显示)。

我存储的矩形错了吗？不是 x,y,w,h 吗？指定矩形实际上会使其更快还是我应该裁剪图像？

Answer 1

我不确定我是否理解正确，但是当您在 Grabcut 中使用“GC_Init_with_Rect”时，最好初始化整个蒙版并将其设置为“可能是背景”:

mask = Mat::ones(image.size(), CV_8UC1) * GC_PR_BGD; //GC_PR_BGD

它是 C++，但我想你明白了。

更新 1:我不认为这会更快，但是当您使用 MOG 信息在您的 ROI 周围绘制一个更大的矩形时，您可以将矩形的外部设置为 GC_BGD。这应该会更快。