- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我正在尝试使用立体相机获取 3D 坐标。
第二种方法是在opencv中使用reprojectImageTo3D。
但是我不知道这个方法的原理。
结果不是以毫米为单位,所以尺寸很难匹配。
请告诉我这两种方法的区别。
(这些代码中的第一个是匹配后将Point Feature转换为3D坐标。)(第二段代码是使用SGBM计算整个立体图像的视差,使用reprojectImageTo3D计算点特征的3d坐标。)
*第一种方法
cv::Mat depth(m_input.m_leftImg.size(), CV_32FC3, cv::Scalar::all(0));
int size = feOutput.m_leftKp.size();
for (int i = 0; i < size; i++)
{
cv::Point pt = cv::Point((int)(feOutput.m_leftKp.at(i).pt.x + 0.5f), (int)(feOutput.m_leftKp.at(i).pt.y + 0.5f));
depth.at<cv::Vec3f>(pt)[2] = fX * baseLine / (feOutput.m_leftKp.at(i).pt.x - feOutput.m_rightKp.at(i).pt.x); // Z
depth.at<cv::Vec3f>(pt)[0] = (feOutput.m_leftKp.at(i).pt.x - cX) * depth.at<cv::Vec3f>(pt)[2] / fX; // X
depth.at<cv::Vec3f>(pt)[1] = (feOutput.m_leftKp.at(i).pt.y - cY) * depth.at<cv::Vec3f>(pt)[2] / fY; // Y
}
depth /= 1000.f; //milli-meter to meter
*第二种方法
cv::Mat disparity16S(m_input.m_leftImg.size(), CV_16S);
sgbm->compute(m_input.m_leftImg, m_input.m_rightImg, disparity16S);
cv::Mat xyz;
cv::Matx44d Q = cv::Matx44d(
1.0, 0.0, 0.0, -cX,
0.0, 1.0, 0.0, -cY,
0.0, 0.0, 0.0, fX,
0.0, 0.0, -1.0 / baseLine, 0/*(CX - CX) / baseLine*/
);
cv::reprojectImageTo3D(disparity16S, xyz, Q, true);
cv::Mat pointXYZ(xyz.size(), xyz.type(), cv::Scalar::all(0));
for (int i = 0; i < size; i++)
{
cv::Point pt = cv::Point((int)(feOutput.m_leftKp.at(i).pt.x + 0.5f), (int)(feOutput.m_leftKp.at(i).pt.y + 0.5f));
pointXYZ.at<cv::Vec3f>(pt) = xyz.at<cv::Vec3f>(pt) / 1000.f;
}
添加+粉色是reprojectImageTo3D方法缩放到1/100的尺寸,黄色是第一种方法中1/1000(mm 2 meter)的尺寸。如果两种方法相同,为什么会有规模上的差异?
最佳答案
理论上完全没有区别,只是方法上的区别。您可以使用 sgbm opencv 方法(不执行任何匹配但解决最小化问题)计算单个匹配点(您的第一种方法)或图像中每个像素的差异。
一旦你有了差异 D,你就可以从三角测量中检索深度 Z 的第一个公式。这应该是与引用图像平面(通常:左相机)的“距离”。
z = f*b/d
一旦你有了 Z,知道投影方程说明了主相机(伪代码)
f, 0 , cX, 0
K = 0 , f, cY, 0
0 , 0, 1, 0
[x y 1] = 1/Z * K * [X Y Z 1]
你可以逆转。
[X Y Z 1] = inv(K)* [Z*x Z*y Z] /*Z is known from disparity */
找到您的 x,y 就像在第一张图片的第一列中显示的那样。这些在主(左)相机引用系统中,但如果您想在右相机中使用您发布的图像,请做出 2 个假设
b is all along x
the two camera planes are perfectly parallel
一般来说,对于其他相机,您假设 b 是一个已知 vector 。这两个引用系统之间可能会发生旋转,因此还必须定义 R 矩阵)。我认为所有这些情况都是从不同的 Q 矩阵表示的(从立体相机校准中获得,例如 stereoRectify
)。
cv::reprojectImageTo3D
只是“自动方法”。他需要相机参数和连续视差图。它可以处理单个选定点的差异。
关于c++ - reprojectImageto3D(OpenCV) 和 3D 坐标的差异有什么区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41503561/
我是一名优秀的程序员,十分优秀!