algorithm - 如何检测图像中坐标的旋转角度

Question

我正在尝试用纺车评估一个简单的实验。我有一些关于纺车的视频(大约 60 个——太多了，无法手动处理)。我想检测每帧中轮子的旋转角度。所以我的想法是:将它们拆分成单帧后，我对图像进行特征检测以获得图像特征的移动:

现在有三组坐标:

• 做圆周运动的人(即:轮子的一部分)
• 背景中的那些(几乎不动 - 但可用于校正其他坐标)
• 那些检测不正确的(例如，箭头顶部的坐标，向下滑动)- 那些需要被整理出来。

我想将三组分开并检测帧之间轮子的旋转角度，但我不知道该怎么做。是否有特定的算法来检测围绕固定点的旋转？

Answer 1

使用 RANSAC。让您的模型成为旋转和水平/垂直移动的组合。

仿射变换会起作用(它的自由度稍高，但描述得很好)。让 A_i = [x1 y1 0 0 1 0; 0 0 x1 y1 0 1] 对于每个点 i。让 b_i = [x2; y2]。这为您提供了 2n x 6 和 2n x 1 维度的 A 和 b，其中 n 是点数。

然后使用最小二乘法求解 x 的 Ax=b。你的仿射变换 T 是

[x1 x2 x5
 x3 x4 x6
 0  0  1]. 

x5, x6 是你不关心的转变。另一个 x1 到 x4 描述了旋转矩阵(注意，如果你有一点缩放，它不是纯粹的旋转，因为它标准化以使行正交!)。

无论如何，所有这一切都得到了很好的描述。 OpenCV 和 Matlab 中都应该有实现。

更新

我刚刚实现了我的方法。它不起作用。这种方法看到了如此多的非旋转关键点，以至于建议的 RANSAC 仿射变换只能找到一个微小的偏移。基本上，我找到了单位矩阵。

这是一张显示 RANSAC 识别的内点的图像。

结论1

1. 方法 1:使用匹配识别箭头，并确定变换(仿射即可)。
2. 方法 2:忽略轻微的相机移动(或先移除)并使用纯旋转模型。

方法一

从旋转中心一直裁剪指示的箭头到外缘。包括旋转中心，以便稍后知道位置，并可以计算围绕该点的旋转。

方法 1 的更新

我试过了。我试图将第一张图像中的箭头裁剪与其他图像中的箭头相匹配。它经常起作用，但不适用于序列中的所有帧。没有那种可怕的 GIF 压缩的更高分辨率的视频会很好。我个人现在认为，这种方法会产生更好的结果。

方法二

让纯旋转模型为 x' = R x，其中 x 和 x' 是二维向量，R 是 2x2 旋转矩阵。

我们可以使用 LS 来解决这个问题，就像上面提到的仿射情况一样。 (即 A = [x y 0 0; 0 0 x y])但是，如果 x 和 y 在图像坐标(像素)中，则模型完全错误，因为它会绕原点旋转。从模型内部自动确定原点是不可能的(可以通过首先进行仿射变换并知道第一帧的中心然后对每一帧进行外推来实现)。

为简单起见，假设每个图像的旋转中心都相同。让它用向量t来描述。然后我们只需在估计旋转模型之前从 x 和 x' 中减去 t。

实现实际上有点困难，因为上面不会在旋转矩阵上强制执行 I = R' R。阅读https://math.stackexchange.com/a/77466更多Kabsch算法。

方法 2 更新

问题仍然存在，实际上非移动点必须归类为异常值(您在问题中提到的三组点)。我尝试先从翻译中删除点，然后估计其余部分的旋转。这效果不佳。

更新2

我将代码推送到 Github 存储库 MatlabRotationEstimation .为了取得进一步的进展，我认为需要更高分辨率的输入文件。了解您是否需要逐帧旋转速度或某些凝聚信息是否足够也很有趣。