python - 如何提取彩色边框内的图像区域？

Question

我正在尝试根据图像上彩色框的边框提取图像的分段区域(见下文)。

I want to extract the area of the image within the yellow box. .

作为引用，我使用 pdfplumber 从 PDF 中提取此图像的 im.draw_rect 函数，它需要 ImageMagick 和 Ghostscript。我到处寻找解决这个问题的方法，而 Mark Setchell 对问题 Python: How to cut out an area with specific color from image (OpenCV, Numpy) 的回答已经接近，我遇到了一些意外错误。

到目前为止，这是我尝试过的:

import numpy as np
from PIL import Image, ImageFilter
impath = r'Path\to\drawn_p9_image.png'
im = Image.open(impath).convert('RGB')
na = np.array(im)
orig= na.copy()
im = im.filter(ImageFilter.MedianFilter(3))
yellowY, yellowX = np.where(np.all(na==[247,213,83],axis=2))
top, bottom = yellowY[0], yellowY[-1]

但是当我运行最后一行时，出现了这个错误:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
IndexError: index 0 is out of bounds for axis 0 with size 0

所以 NumPy 数组实际上并没有捕获它应该捕获的数据。当我检查 NumPy 数组时，这是它的输出:

>>> na
array([[[255, 255, 255],
        [255, 255, 255],
        [255, 255, 255],
        ...,
        [255, 255, 255],
        [255, 255, 255],
        [255, 255, 255]],

       [[255, 255, 255],
        [255, 255, 255],
        [255, 255, 255],
        ...,
        [255, 255, 255],
        [255, 255, 255],
        [255, 255, 255]],

       [[255, 255, 255],
        [255, 255, 255],
        [255, 255, 255],
        ...,
        [255, 255, 255],
        [255, 255, 255],
        [255, 255, 255]],

       ...,

       [[255, 255, 255],
        [255, 255, 255],
        [255, 255, 255],
        ...,
        [255, 255, 255],
        [255, 255, 255],
        [255, 255, 255]],

       [[255, 255, 255],
        [255, 255, 255],
        [255, 255, 255],
        ...,
        [255, 255, 255],
        [255, 255, 255],
        [255, 255, 255]],

       [[255, 255, 255],
        [255, 255, 255],
        [255, 255, 255],
        ...,
        [255, 255, 255],
        [255, 255, 255],
        [255, 255, 255]]], dtype=uint8)

我不确定为什么这种方法不起作用，并且正在寻找有关如何修复它的一些指导。我同意在最终裁剪后的图像中看到黄色边界，如果这提供了更简单的解决方案的话。

Answer 1

正如 Mark 已经在评论中指出的那样，黄色矩形没有 [247, 213, 83] 的 RGB 值。 ImageJ ，例如，返回纯黄色 [255, 255, 0]。因此，使用此值可能已经有所帮助。

尽管如此，为了克服关于最终 RGB 值的不确定性，可能还因平台、软件等而异，我建议使用 HSV color space 来使用颜色阈值。 ，它也可以使用 Pillow，cf。 modes .

您只需要注意适当的值范围:例如，色调 channel 的值在 [0 ... 360](度)范围内，映射到一个完整的 8 位无符号整数，即 [0 ... 255] 的范围。同样，饱和度和值从 [0 ... 100](百分比)映射到 [0 ... 255]。

剩下的就是找到合适的色相、饱和度和明度范围(例如使用一些 HSV color picker )，以及 NumPy 的 boolean array indexing掩盖给定图像中的黄色区域。

对于最后的裁剪，您可以添加一些额外的边框来去除黄色边框本身。

最后，这是一些代码:

import numpy as np
from PIL import Image


# Convert degree range (0 - 360) to uint8 value range (0 - 255)
def deg_to_uint8(deg):
    return deg / 360 * 255


# Convert percentage range (0 - 100) to uint8 value range (0 - 255)
def perc_to_uint8(perc):
    return perc / 100 * 255


# Open image, and convert to HSV color space for NumPy slicing
img = Image.open('MDRBG.png')
hsv = np.array(img.convert('HSV'))

# Masking color-ish area via NumPy slicing using upper and/or lower
# bounds for hue, saturation, and value
box = hsv[..., 0] > deg_to_uint8(55)        # Hue > 55°
box &= hsv[..., 0] < deg_to_uint8(65)       # Hue < 65°
box &= hsv[..., 1] > perc_to_uint8(80)      # Saturation > 80%
box &= hsv[..., 2] > perc_to_uint8(80)      # Value > 80%

# Find x, y coordinates of masked area; extract first and last elements
xy = np.argwhere(box)
t, b = xy[[0, -1], 0]
l, r = xy[[0, -1], 1]

# For better cropping, maybe add some additional border
bl, bt, br, bb = (3, 3, 3, 3)

# Actual cropping of the image
crop = img.crop((l + bl, t + bt, r - br, b - bb))
crop.save('crop.png')

这就是输出:

----------------------------------------
System information
----------------------------------------
Platform:      Windows-10-10.0.16299-SP0
Python:        3.9.1
NumPy:         1.20.2
Pillow:        8.1.2
----------------------------------------