python - 测量金属零件孔径的图片，远心拍摄，单色相机用opencv

Question

设置:

• 相机:Blackfly S Mono 20.0 MP
• 镜头:光电远心镜头TC23080
• 灯:16 个绿色 LED
• python :3.7.3
• openCV:4.0+

抱歉图片链接，但一张图片大约 20MB，也不想降低任何质量

图片样本:

https://drive.google.com/file/d/11PU-5fzvSJt1lKlmP-lQXhdsuCJPGKbN/view?usp=sharing https://drive.google.com/file/d/1B3lSFx8YvTYv3hzuuuYtphoHBuyEdc4o/view

案例:将有不同形状的金属零件，从 5x5 到 10x10 尺寸(厘米)不等。在这些金属部件内部有很多 2 到 10~ 的圆孔，必须非常准确地检测出来。孔的实际大小未知，因为可能的零件种类繁多。目标是使用 OpenCV 编写一个通用算法，该算法可以处理任何金属部件并检测圆孔。

我们尝试过的:我们曾尝试使用 HoughCircles 算法检测漏洞，但收效甚微。该算法要么太敏感，要么根本检测不到漏洞。我们尝试了不同的 param1 和 param2 值，但没有成功。在使用 HoughCircles 之前，我们也尝试过将图像模糊并通过 Canny 传递，但这种方法并没有产生更好的结果。对于分辨率较低的图片，同样的算法效果要好得多。但是，不能牺牲分辨率，因为准确性在这个项目中极其重要。

https://drive.google.com/file/d/1TRdDbperi37bha0uJVALS4C2dBuaNz6u/view?usp=sharing

使用以下参数检测到上述圆圈:

minradius=0
maxradius=0
dp=1
param1=100
param2=21

通过调整上述参数，我们几乎可以得到我们想要的结果。当我们对不同的图片使用相同的参数时，问题就出现了。

我们想要得到的最终结果是一个给定圆的直径，非常精确，我们希望相同的算法可以用于不同的零件图片

这个问题与发布的其他问题的不同之处在于，我们不知道给定圆的大致半径(因此我们无法操纵 minradius、maxradius、param1、param2 或任何其他值)。

Answer 1

关于这些图像，我们知道两件事:

1. 物体是黑暗的，在明亮的背景上。
2. 孔都是圆的，我们要测量所有的孔。

所以我们需要做的就是检测漏洞。这实际上很简单:

1. 阈值(背景成为对象，因为它很亮)
2. 删除边缘对象

剩下的就是洞了。不包括任何接触图像边缘的孔。我们现在可以很容易地测量这些孔。由于我们假设它们是圆形的，我们可以做三件事:

1. 计算对象像素，这是对区域的无偏估计。我们根据面积确定孔径。
2. 检测轮廓，找到质心，然后使用例如等高线点到质心的平均距离为半径。
3. 归一化图像强度，使背景照明的强度为 1，其中有孔的物体强度为 0。每个孔的强度积分是区域的亚像素精度估计(请参阅在底部快速解释此方法)。

此 Python 代码，使用 DIPlib (免责声明:我是作者)展示了如何执行这三种方法:

import diplib as dip
import numpy as np

img = dip.ImageRead('geriausias.bmp')
img.SetPixelSize(1,'um') # Usually this info is in the image file
bin, thresh = dip.Threshold(img)
bin = dip.EdgeObjectsRemove(bin)
bin = dip.Label(bin)
msr = dip.MeasurementTool.Measure(bin, features=['Size','Radius'])
print(msr)
d1 = np.sqrt(np.array(msr['Size'])[:,0] * 4 / np.pi)
print("method 1:", d1)
d2 = np.array(msr['Radius'])[:,1] * 2
print("method 2:", d2)

bin = dip.Dilation(bin, 10) # we need larger regions to average over so we take all of the light
                            # coming through the hole into account.
img = (dip.ErfClip(img, thresh, thresh/4, "range") - (thresh*7/8)) / (thresh/4)
msr = dip.MeasurementTool.Measure(bin, img, features=['Mass'])
d3 = np.sqrt(np.array(msr['Mass'])[:,0] * 4 / np.pi)
print("method 3:", d3)

这给出了输出:

  |       Size |                                            Radius | 
- | ---------- | ------------------------------------------------- | 
  |            |        Max |       Mean |        Min |     StdDev | 
  |      (µm²) |       (µm) |       (µm) |       (µm) |       (µm) | 
- | ---------- | ---------- | ---------- | ---------- | ---------- | 
1 |  6.282e+04 |      143.9 |      141.4 |      134.4 |      1.628 | 
2 |  9.110e+04 |      171.5 |      170.3 |      168.3 |     0.5643 | 
3 |  6.303e+04 |      143.5 |      141.6 |      133.9 |      1.212 | 
4 |  9.103e+04 |      171.6 |      170.2 |      167.3 |     0.6292 | 
5 |  6.306e+04 |      143.9 |      141.6 |      126.5 |      2.320 | 
6 |  2.495e+05 |      283.5 |      281.8 |      274.4 |     0.9805 | 
7 |  1.176e+05 |      194.4 |      193.5 |      187.1 |     0.6303 | 
8 |  1.595e+05 |      226.7 |      225.3 |      219.8 |     0.8629 | 
9 |  9.063e+04 |      171.0 |      169.8 |      167.6 |     0.5457 | 

method 1: [282.8250363  340.57242408 283.28834869 340.45277017 283.36249824
 563.64770132 386.9715443  450.65294139 339.70023023]
method 2: [282.74577033 340.58808144 283.24878097 340.43862835 283.1641869
 563.59706479 386.95245928 450.65392268 339.68617582]
method 3: [282.74836803 340.56787463 283.24627163 340.39568372 283.31396961
 563.601641   386.89884807 450.62167913 339.68954136]

图像bin调用dip.Label后，是一个整数图像，孔1的像素值全部为1，孔2的像素值为2，以此类推. 所以我们仍然保持测量尺寸和它们是哪些孔之间的关系。我没有费心制作一个显示图像尺寸的标记图像，但这可以很容易地完成，正如您在其他答案中看到的那样。

因为图像文件中没有像素大小信息，所以我强加了每个像素 1 微米。这可能不正确，您将必须执行校准以获得像素大小信息。

这里的一个问题是背景照明太亮，导致像素饱和。这会导致孔看起来比实际大。 校准系统非常重要，以便背景照明接近相机可记录的最大值，但既不在最大值也不高于最大值。例如，尽量使背景强度为245或250。第三种方法受不良光照影响最大。

对于第二张图片，亮度非常低，产生了不必要的噪点。我需要将行 bin = dip.Label(bin) 修改为:

bin = dip.Label(bin, 2, 500) # Imposing minimum object size rather than filtering

相反，进行一些噪音过滤可能更容易。输出是:

  |       Size |                                            Radius | 
- | ---------- | ------------------------------------------------- | 
  |            |        Max |       Mean |        Min |     StdDev | 
  |      (µm²) |       (µm) |       (µm) |       (µm) |       (µm) | 
- | ---------- | ---------- | ---------- | ---------- | ---------- | 
1 |  4.023e+06 |      1133. |      1132. |      1125. |     0.4989 | 

method 1: [2263.24621554]
method 2: [2263.22724164]
method 3: [2262.90068056]

---

方法#3 的快速解释

方法在the PhD thesis of Lucas van Vliet (Delft University of Technology, 1993), chapter 6中有描述。 .

这样想:通过孔的光量与孔的面积成正比(实际上它由“面积”x“光强度”给出)。通过将所有穿过孔的光相加，我们可以知道孔的面积。该代码将对象的所有像素强度以及对象外部的一些像素相加(我在那里使用了 10 个像素，要走多远取决于模糊)。

erfclip函数被称为“软剪辑”函数，它保证孔内的强度统一为1，孔外的强度统一为0，并且只在边缘周围留下中间灰度值。在这种特殊情况下，这个软剪辑避免了成像系统中的一些偏移问题，以及光强度估计不佳的问题。在其他情况下，更重要的是避免被测物体颜色不均匀的问题。它还可以减少噪音的影响。