android - 根据方向传感器数据旋转图像

Question

我想计算来自移动相机的 2 张图像的深度信息。使用 Sensor.TYPE_ROTATION_VECTOR 我有两个图像的四元数以及从 Img1 到 Img2 的相对四元数。

图片1

q1 = 0.7545 - 0.1137i - 0.2715j - 0.5865k

图片2

q2 = 0.7706 - 0.2252i - 0.3511j - 0.4817k

相对季铵盐是:

qr = -0.9850 + 0.0072i + 0.1329j - 0.1097k

即相对旋转矩阵为，

|0.9406   -0.2142    -0.2635 |
|0.2180    0.9758    -0.0150 |
|0.2604   -0.0433     0.9645 |

这是 getPerspectiveTransform 给出的矩阵吗？

当我在 warpPerspective 中使用这个 3x3 旋转矩阵时，我得到一个几乎空白的图像，除了左上角的一些东西。 (也许图像旋转的轴是错误的)。

我做错了什么？

注意:两张图片之间也有一个小的翻译(抱歉图片不好)

编辑 1:根据这个 link ，对于我的 Moto G 2nd Generation，我得到了一个固有的相机矩阵，

K = |-3570   0         1632 |
    |  0   3554.39   1218.65|
    |  0     0           1  |

Answer 1

如果我没理解错的话，你有两张从智能手机相机拍摄的图像，你知道(至少大约)内在矩阵，以及拍摄两张图像的姿势之间的相对 3D 旋转。您还说两个图像之间有一个小的平移，这很好，否则您将无法计算深度。

很遗憾，您没有足够的信息来直接估计深度。基本上，从两个图像估计深度需要:

<强>1。找到两张图片的点对应

根据您想要执行的操作，这可以针对图像中的所有点(即以密集方式)或仅针对少数几个点(即以稀疏方式)完成。当然，后者的计算成本较低，因此更适合智能手机。

• 密集匹配需要对图像进行校正，以使计算易于处理，但如果在智能手机上执行，这可能需要很长时间。图像校正可以使用校准方法(需要知道图像的两个姿态之间的旋转和平移、相机内在矩阵和相机的畸变系数)或非校准方法(需要知道两幅图像和基本矩阵之间的稀疏点匹配，可以从匹配中估计)。

• 稀疏匹配需要匹配两个图像之间的显着特征(例如 SURF 或 SIFT，或更有效的特征)。这具有比密集匹配更高效且更准确的优势。

<强>2。对相应点进行三角测量以估计深度

三角测量需要知道内部参数(相机矩阵和畸变系数)和外部参数(拍摄图像的姿势之间的相对旋转和平移)。

---

在您的情况下，假设您的相对旋转和内在相机矩阵足够准确(我对此表示怀疑)，您仍然缺少平移和失真系数。

但是，您仍然可以应用立体三角测量的经典方法，这需要对相机进行精确校准并估计完整的相对姿态(即旋转 + 平移)。

相机的校准将使您能够估计准确的内在矩阵和相关的失真系数。建议这样做，因为您的相机将与其他手机中的相机不完全相同(即使是相同的手机型号)。参见例如this tutorial ，它显示了方法，尽管代码示例是 C++ 语言(android 必须存在等效代码)。

一旦您准确估计了内在参数，估计完整相对姿态(即旋转和平移)的一种方法是计算基本矩阵(使用在两个图像之间找到的特征匹配)，然后利用相机矩阵推断本质矩阵，最后将本质矩阵分解为相对旋转和平移。参见 this link ，它给出了从基本矩阵推断基本矩阵的公式，以及this link ，它解释了如何从基本矩阵计算旋转和平移。

---

此外，要回答与 warpPerspective 相关的其他问题，您需要使用 K.R.inv(K) 或 K.inv(R).inv (K)，取决于您要变形的图像。这是因为 R 是 3D 旋转，与像素坐标完全无关。