python - 如何防止 INPAINTING block 并改善着色

Question

我想从此 IMAGE 中删除所有使用 INPAINTING 的文本.我一直在尝试各种方法，最终发现我可以通过 OCR 得到结果，然后使用阈值 MASK THE IMAGE。

processedImage = preprocess(partOFimg) 
mask = np.ones(img.shape[:2], dtype="uint8") * 255
for c in cnts:
        cv2.drawContours(mask, [c], -1, 0, -1)
img = cv2.inpaint(img,mask,7,cv2.INPAINT_TELEA)

预处理操作:

  ret,thresh1 = cv2.threshold(gray, 0, 255,cv2.THRESH_OTSU|cv2.THRESH_BINARY_INV)
rect_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (15, 3))
dilation = cv2.dilate(thresh1, rect_kernel, iterations = 1)
edged = cv2.Canny(dilation, 50, 100)
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
mask =

np.ones(img.shape[:2], dtype="uint8") * 255

当我运行上面的代码时，这里是输出图像 OUTPUT .正如我们所看到的，它在图像上制作了一些不同颜色的 block ，我想防止这种情况发生，我该如何实现呢？我看到蒙版图像很多次都没有很好地形成，并且在文本为白色的情况下，预处理没有正确发生。如何防止这些其他颜色的 block 在图像上形成？

灰色子图像 GRAYED

阈值子 IMG 部分:Thresholded Image

蒙版图像 Masked

编辑 1:

通过注意到我的阈值是我可以获得的最佳掩码，我已经设法获得了这个新的更好的结果。这样做之后，我使用可变掩码和反转执行了 3 次不同的掩码过程。我做了 3 次修复算法，其他时候基本上都是反转掩码，因为在某些情况下需要的掩码是反转的掩码。我仍然认为它需要改进，如果我选择不同的图像，结果就不会那么好。

Answer 1

Python/OpenCV 修复方法通常不适合您的图像类型。它们在薄(类似划痕)区域而不是大块上效果最好。你真的需要一个范例类型的方法，比如 https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/criminisi_tip2004.pdf .但是 OpenCV 没有。

但是，我怀疑 OpenCV 方法在这里确实有效，因为您填充的是恒定的颜色(绿色)而不是纹理。所以你最好尝试只获取字母(字符)的掩码，而不是单词的矩形 block 。因此，为了向您展示我的意思，这是我的 Python/OpenCV 方法。

输入:

• 阅读输入
• 绿色标志上的阈值
• 应用形态学将其闭合并保持为mask1
• 将蒙版应用到图像上，使标志的外部变黑
• 在这个新图像中的白色阈值并保持为 mask2
• 应用morphology dilate将其稍微放大并保存为mask3
• 修复
• 保存结果

import cv2
import numpy as np

# read input
img = cv2.imread('airport_sign.jpg')

# threshold on green sign
lower = (30,80,0)
upper = (70,120,20)
thresh = cv2.inRange(img, lower, upper)

# apply morphology close
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (135,135))
mask1 = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel)

# apply mask to img
img2 = img.copy()
img2[mask1==0] = (0,0,0)

# threshold on white
#gray = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
#mask2 = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY+cv2.THRESH_OTSU)[1]
lower = (120,120,120)
upper = (255,255,255)
mask2 = cv2.inRange(img2, lower, upper)

# apply morphology dilate
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5,5))
mask3 = cv2.morphologyEx(mask2, cv2.MORPH_DILATE, kernel)


# do inpainting
result1 = cv2.inpaint(img,mask3,11,cv2.INPAINT_TELEA)
result2 = cv2.inpaint(img,mask3,11,cv2.INPAINT_NS)

# save results
cv2.imwrite('airport_sign_mask.png', mask3)
cv2.imwrite('airport_sign_inpainted1.png', result1)
cv2.imwrite('airport_sign_inpainted2.png', result1)

# show results
cv2.imshow('thresh',thresh)
cv2.imshow('mask1',mask1)
cv2.imshow('img2',img2)
cv2.imshow('mask2',mask2)
cv2.imshow('mask3',mask3)
cv2.imshow('result1',result1)
cv2.imshow('result2',result2)
cv2.waitKey(0)
cv2.destroyAllWindows()

掩码 3:

修复 1(Telea):

修复 2(NS):