python - 使用 DipLib (PyDIP) 测量两条线之间的距离

Question

我目前正在研究一种使用定量图像分析来确定塑料细丝直径的测量系统。下面是原始图像和处理后的二进制图像，使用 DipLib(PyDIP 变体)这样做。

问题

好吧，在我个人看来，这看起来很棒。下一个问题是我正在尝试计算二进制图像中灯丝的顶部边缘和底部边缘之间的距离。这使用 OpenCV 非常简单，但是由于 DipLib 的 PyDIP 变体的功能有限，我遇到了很多麻烦。

可能的解决方案

从逻辑上讲，我认为我可以向下扫描像素列并查找像素从 0 变为 255 的第一行，反之亦然查找底部边缘。然后我可以采用这些值，以某种方式创建一条最佳拟合线，然后计算它们之间的距离。不幸的是，我正在努力解决这个问题的第一部分。我希望有经验的人可以帮助我。

背景故事

我正在使用 DipLib，因为 OpenCV 非常适合检测，但不适合量化。我见过其他例子，例如这个 here它使用测量函数从类似的设置中获取直径。

我的代码:

import diplib as dip
import math
import cv2


# import image as opencv object
img = cv2.imread('img.jpg') 

# convert the image to grayscale using opencv (1D tensor)
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)


# convert image to diplib object
dip_img = dip.Image(img_gray)

# set pixel size
dip_img.SetPixelSize(dip.PixelSize(dip.PixelSize(0.042*dip.Units("mm"))))

# threshold the image
dip_img = dip.Gauss(dip_img)
dip_img = ~dip.Threshold(dip_img)[0]

Cris Luengo 的问题

首先，在这一行中:

# binarize
mask = dip.Threshold(edges)[0] '

你怎么知道输出图像包含在索引 [0] 中，因为 PyDIP 上的文档很少我想知道如果我自己做的话我可能在哪里弄清楚了。我可能只是没有找对地方。我意识到我是在我的原始帖子中这样做的，但我肯定只是在一些示例代码中发现了这一点。

第二行:

normal1 = np.array(msr[1]['GreyMajorAxes'])[0:2]  # first axis is perpendicular to edge
normal2 = np.array(msr[2]['GreyMajorAxes'])[0:2]

据我了解，您正在寻找两条线的主轴，它们只是特征向量。我在这里的经验非常有限——我是一名本科工程专业的学生，​​所以我从抽象意义上理解特征向量，但我仍在学习它们的用途。我不太明白的是 msr[1]['GreyMajorAxes'])[0:2] 行只返回两个值，这只会定义一个点。如果它只是一个点，这如何定义一条垂直于检测到的线的线？第一个点引用是 (0,0) 还是图像的中心或其他什么？此外，如果您有任何相关资源可以阅读有关在图像处理中使用特征值的信息，我很乐意深入了解。谢谢!

第三正如您设置的那样，如果我理解正确，mask[0] 包含顶行，mask[1] 包含底行。因此，如果我想考虑灯丝的弯曲，我可以采用这两个矩阵并为每个正确的矩阵获得最佳拟合线？目前我只是简单地减少了我的捕捉区域，主要是消除了担心任何弯曲的需要，但这不是一个完美的解决方案 - 特别是如果灯丝下垂很多并且弯曲是不可避免的。让我知道您的想法，再次感谢您的宝贵时间。

Answer 1

我认为测量灯丝两个边缘之间距离的最精确方法是:

1. 使用高斯梯度幅度检测两条边缘，
2. 确定两条边的重心，这将是每条边上的一个点，
3. 确定两条边的夹角，
4. 使用三角函数求出两条边之间的距离。

这假设两条边完全笔直且平行，但情况似乎并非如此。

使用 DIPlib 你可以这样做:

import diplib as dip
import numpy as np
import matplotlib.pyplot as pp

# load
img = dip.ImageRead('wDnU6.jpg') 
img = img(1)  # use green channel
img.SetPixelSize(0.042, "mm")

# find edges
edges = dip.GradientMagnitude(img)

# binarize
mask = dip.Threshold(edges)[0]
mask = dip.Dilation(mask, 9)  # we want the mask to include the "tails" of the Gaussian
mask = dip.AreaOpening(mask, filterSize=1000)  # remove small regions

# measure the two edges
mask = dip.Label(mask)
msr = dip.MeasurementTool.Measure(mask, edges, ['Gravity','GreyMajorAxes'])
# msr[n] is the measurements for object with ID n, if we have two objects, n can be 1 or 2.

# get distance between edges
center1 = np.array(msr[1]['Gravity'])
center2 = np.array(msr[2]['Gravity'])

normal1 = np.array(msr[1]['GreyMajorAxes'])[0:2]  # first axis is perpendicular to edge
normal2 = np.array(msr[2]['GreyMajorAxes'])[0:2]
normal = (normal1 + normal2) / 2  # we average the two normals, assuming the edges are parallel

distance = abs((center1 - center2) @ normal)
units = msr['Gravity'].Values()[0].units
print("Distance between lines:", distance, units)

这个输出:

Distance between lines: 21.491425398007312 mm

您可以显示两条边:

mmpp = img.PixelSize()[0].magnitude
center1 = center1 / mmpp  # position in pixels
center2 = center2 / mmpp
L = 1000
v = L * np.array([normal[1], -normal[0]])
img.Show()
pt1 = center1 - v
pt2 = center1 + v
pp.plot([pt1[0], pt2[0]], [pt1[1], pt2[1]])
pt1 = center2 - v
pt2 = center2 + v
pp.plot([pt1[0], pt2[0]], [pt1[1], pt2[1]])

---

另一种方法使用距离变换，它为每个对象像素分配到最近的背景像素的距离。因为细丝大致水平，所以很容易将每个图像列的最大值用作沿细丝的一个点的宽度的一半。这种测量有点嘈杂，因为它计算像素之间的距离，并使用二值化图像。但是我们可以平均每个图像列的宽度以获得更精确的测量，尽管它可能有偏差(估计值可能小于真实值):

mask = dip.Threshold(img)[0]
dt = dip.EuclideanDistanceTransform(mask, border='object')
width = 2 * np.amax(dt, axis=0)
width = width[100:-100]  # close to the image edges the distance could be off
print("Distance between lines:", np.mean(width), img.PixelSize()[0].units)

这个输出:

Distance between lines: 21.393684 mm

如果您怀疑灯丝的宽度不均匀，您还可以计算局部平均宽度:

width_smooth = dip.Gauss(width, 100)

然后您可以绘制估计宽度以查看您的估计:

pp.plot(width)
pp.plot(width_smooth)
pp.show()

---

其他问题的答案

How do you know that the output image is contained at index [0], since there is little documentation on PyDIP [...]

的确，文档太少了，我们当然可以在这方面得到一些帮助!大多数函数都是从 C++ 函数简单翻译而来的，因此 C++ 文档提供了合适的信息。但是一些函数，比如 dip.Threshold()，与 C++ 有点不同；在这种情况下，输出在元组中提供阈值图像和选定的阈值。在 Python 中运行 out = dip.Threshold(edges) 然后检查 out 变量，您可以看到它是一个元组，其中图像作为第一个值， float 作为第一个值第二个值。您需要猜测 the C++ documentation 中两个值的含义. The source code将是找出答案的最佳地点，但这对用户来说一点都不友好。

As I understand you are finding the principle axes of the two lines, which are just the eigenvectors. [...] What I'm not quite understanding is that the line msr[1]['GreyMajorAxes'])[0:2] only returns two values, which would only define a single point. How does this define a line normal to the detected line, if it is only a single point? [...]

二维向量由两个数字定义，向量从原点到这两个数字给定的点。 msr[1]['GreyMajorAxes']) 给出四个值(二维)，前两个是 inertia tensor 的最大特征向量，后两个是最小的特征向量。在这种情况下，最大的特征向量对应于法线。

As you have set this up, if I am understanding correctly, mask[0] contains the top line and mask[1] contains the bottom line.

不是，mask 是有标签的图像，其中值为 0 的像素是背景，值为 1 的像素是第一个对象(在本例中为边缘)，而值为2 是第二个对象。所以 mask==1 将给出一个二值图像，其中包含所选第一条边的像素。但是 mask 不是一条细线，它很宽。这个想法是在 edge 中覆盖高斯分布的整个宽度，这是图像的梯度幅度。我上面所做的计算都是基于这个高斯分布，提供了比处理二值图像或单个像素集所得到的结果更精确的结果。

Therefore, if I were to want to account for the bend in the filament, I could take those two matrices and get a best fit line for each correct?

您可以做的一件事是在 mask==1 像素内找到 edge 中每列最大值的子像素位置(例如，通过拟合对每列中的值进行高斯分布)。这将为您提供一组可以拟合曲线的点。这会涉及更多代码，但我认为并不难。