opencv - 如何在 grabcut 中去除带有阴影的白色背景？

Question

我正在使用 grabcut 从图像中删除白色背景。边缘的部分背景仍然存在。你能帮我把阴影部分也去掉吗？

输入图片

输出图片

尝试了抓取、轮廓、正常阈值处理，但阴影仍然存在

img_ray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
ret, thresh = cv.threshold(img_ray, 127, 255, cv.THRESH_BINARY+cv.THRESH_OTSU)
contours, hierarchy = cv.findContours(thresh, cv.RETR_TREE, cv.CHAIN_APPROX_NONE)
cnt = contours[4]
cv.drawContours(img, [cnt], 0, (0, 255, 0), 3)
mask = np.zeros(img.shape[:2], np.uint8)
bgdmodel = np.zeros((1, 65), np.float64)
fgdmodel = np.zeros((1, 65), np.float64)
height = img.shape[0]
width = img.shape[1]
rect = (50, 0, width, height)
cv.grabCut(img, mask, rect, bgdmodel, fgdmodel, 10, cv.GC_INIT_WITH_RECT)
mask2 = np.where((mask == 2) | (mask == 0), 0, 1).astype('uint8')
img = img * mask2[:, :, np.newaxis]
img[np.where((img == [230, 230, 230]).all(axis=2))] = [0, 0, 0]
cv.bitwise_not(img)

它应该删除完整的背景

Answer 1

这个答案解释了如何使用 Grabcut 和 mask 来提取前景。这个答案有两个步骤。第一步是创建一个蒙版，将像素标记为确定前景、确定背景或未知。第二步是应用Grabcut算法。

面具是使用 Canny 边缘过滤器和两个 morphological transformations 创建的.

edges = cv.Canny(img, 80,150)
kernel = np.ones((5,5), np.uint8)
closing = cv.morphologyEx(edges, cv.MORPH_CLOSE, kernel, iterations=3)
erosion = cv.morphologyEx(closing, cv.MORPH_ERODE, kernel, iterations=1)

# When using Grabcut the mask image should be:
#    0 - sure background
#    1 - sure foreground
#    2 - unknown

mask = np.zeros(img.shape[:2], np.uint8)
mask[:] = 2
mask[erosion == 255] = 1

这个掩码会给 Grabcut 算法提示什么是确定的前景和什么是确定的背景。接下来，使用蒙版应用 Grabcut:

bgdmodel = np.zeros((1, 65), np.float64)
fgdmodel = np.zeros((1, 65), np.float64)

out_mask = mask.copy()
out_mask, _, _ = cv.grabCut(img,out_mask,None,bgdmodel,fgdmodel,1,cv.GC_INIT_WITH_MASK)
out_mask = np.where((out_mask==2)|(out_mask==0),0,1).astype('uint8')
out_img = img*out_mask[:,:,np.newaxis]

mask 显示为 mask*123 因此确定前景为灰色，确定背景为黑色，未知为白色: