c# - 具有亚像素精度的图像处理

Question

我正在编写一个控制工业机械的用户界面程序。

该机是应用于电子生产行业的全自动联机丝网打印机。该机器的确切用途是将焊膏打印到裸露的 PCB 上。该系统包括 2 个摄像头，它们构成了一个视觉系统，用于定位基准点并使机械所涉及的过程自动化。我遇到的问题是我需要能够在从相机拍摄的图像中定位形状和物体，这很简单，但是 - 为了获得所需的精度，我需要能够以亚像素精度来做到这一点.

这两个摄像头组成了一个双视觉摄像头，其中一个摄像头将向上看模板，另一个向下看 PCB。双视觉相机位于 X 和 Y 方向移动的移动托架上。PCB 被夹在可以在 X、Y 和 theta 方向移动的工作台上。视觉系统用于检测 PCB 位置和钢网位置之间的差异，然后调整工作台将两者对齐。

编辑:

这是从现有 UI 程序截取的部分屏幕截图:

模板图像是顶部图像，PCB 是底部图像，这里的图像是灰度图像 - 在新系统中，我正在考虑使用彩色，但需要使用灰度图像。

注意:当您阅读本文时，您可能会想“那为什么不直接使用现有 UI 中使用的任何内容呢？”现有的 UI 是用 VB6 编写的，这是我想要摆脱的东西，程序的视觉方面是一个由第三方公司编写的 .ocx，现在已经不存在了。

我玩过 AForge.NET 一点点，发现它真的很容易使用，我可以用它来定位各种不同的形状并找到它们的中心，这很棒，但它没有亚像素精度。不过，我可以以此为起点，然后将子像素算法应用于单个中心像素甚至整个形状。

编辑:

这是从我使用 AForge 编写的测试程序中截取的示例图像:

红色轮廓和十字线是我作为视觉辅助/实验添加的。这是用我可能使用的相机拍摄的，它的分辨率为 1280 x 1024，但镜头不是我将使用的实际镜头，这就是图像略微“鱼眼”的原因。感兴趣的物体也会比这更好。

在实际系统中，镜头会在模板和 PCB 上看到一个 10mm x 8mm 的正方形，这意味着每个像素将代表 7.8125um^2，但是我可以一次以 1.25um 的增量移动 XYY 表，这如果我用相机看不到那些 Action ，那基本上就没用了。我需要 1um(亚)像素精度。

有谁知道我可以用来做这件事的任何东西吗？我已经搜索了很长时间，但我似乎只找到了有关以亚像素精度渲染图像的信息。

或者，更好的是，有谁知道我如何自己编写一些东西来完成这项工作？我什至不知道从哪里开始!

我们将不胜感激任何反馈。

Answer 1

新信息说明了很多...我认为您应该更关注粘贴应用的准确性，而不是托架位置的准确性。我敢打赌打印机的点尺寸和误差比 1 um 大得多，而且所需的精度取决于 PCB 的使用(布线和间隙宽度)。不管怎样，我会这样做:

1. 线性化图像几何

   你需要去除鱼眼图像。由于您的相机/光学设置将是固定的(尤其是焦点和到 PCB 的距离)，您应该为每个 PCB 厚度制作一个棋盘网格的图像。然后创建将棋盘线性化为真实矩形的映射，以便您在下一个过程之前丢弃偏差。

2. 使照明条件正常化

   • 参见 Enhancing dynamic range and normalizing illumination

3. 亚像素精度

   图像的每个像素都是其区域内所有内容的集成。因此，如果我们知道任何边界(背景/前景)的 2 种颜色(c0,c1)，那么我们就可以估计它们的子像素位置。让我们从轴对齐的矩形开始。我是这样看的:

   

   网格的每个正方形代表一个像素区域。 c0是灰色和c1是绿色。在相机图像中，您得到的最终颜色是每个像素内所有颜色的组合:

   • c = s0*c0 + s1*c1

   哪里c是最终的像素颜色，s0,s1是对应于c0,c1的区域范围内的颜色 <0,1>其中 s0+s1=1.0 .现在我们要计算 s0,s1以获得亚像素精度。所以首先将边界上的像素位置检测为以下之一:

   • 水平边缘
   • 垂直边缘
   • 角落

   这可以通过检查相邻像素来完成。 c0,c1可以从具有饱和颜色的像素(所有邻居都具有相同的颜色)中获得这些像素位于内部区域。我会忽略角像素，因为它们的位置可以从最近的 H/V 边缘像素获得(不可能从上面的等式中获得两个 x、y 坐标)。所以现在对于每个 H、V 边只求解系统:

   I.  c = s0*c0 + s1*c1
   II. s0 + s1 = 1.0;
   

   计算s0,s1垂直边缘的边缘位置是其中之一:

   x=x0 + pixel_size*s0 // if c0 is on the left
   x=x0 + pixel_size*s1 // if c1 is on the left
   

   水平边是这样的:

   y=y0 + pixel_size*s0 // if c0 is on the top
   y=y0 + pixel_size*s1 // if c1 is on the bottom
   

   哪里x0,y0是以像素为单位的像素左上角位置，坐标系为x+向右走y+正在下降。如果您有不同的设置，只需更改方程式 ...

   现在，如果你有非轴对齐的边缘，那么你需要计算斜率(一个轴需要多少像素才能在另一个轴上改变 dy/dx 。并相应地处理这些区域:

   

   所以唯一改变的是从计算 s0,s1 的转换到实际的边缘位置。现在你需要计算左/右或上/下。如果您使用轴对齐示例中的方程式，那么您将获得像素中间的边缘位置。所以你只需将它在两侧的斜坡上移动 x +/- 0.5*dx/dy或 y +/- 0.5*dy/dx其中 dx,dy是边缘斜率。

   

   获取dx,dy只需沿着边缘搜索完全饱和的像素，如果找到则 (dx,dy)是 2 个最近的此类像素之间的距离...

[注释]

您可以在 booth 灰度和 RGB 上执行此操作。希望这能有所帮助。