opencv - 使用后过滤的立体 map

Question

我尝试使用代码查找链接中给出的差异:link
然而，视差图在某些区域似乎是错误的。一些远离相机的物体看起来比距离较近的物体更亮。我试图通过将视差值乘以校准矩阵 Q 来计算实际深度。计算出的深度与现实世界的测量值相去甚远(相差 20-25 厘米)。我确信矩阵 Q 是正确的，因为我的校正图像看起来不错。我的校准方形尺寸值也很准确(0.05 米)。附上我的视差图:

这是添加的代码，用于根据存储在 filtered_disp_vis 中的过滤视差图像计算实际深度。

fs1["Q"] >> Q;
Mat Image;
Mat V = Mat(4, 1, CV_64FC1);
Mat pos = Mat(4, 1, CV_64FC1);
vector< Point3d > points;
//float fMaxDistance = static_cast<float>((1. / Q.at<double>(3, 2)) * 
Q.at<double>(2, 3));
//filtered_disp_vis.convertTo(filtered_disp_vis, CV_64FC1, 1.0 / 16.0, 0.0);
//imshow("filtered disparity", filtered_disp_vis);
// outputDisparityValue is single 16-bit value from disparityMap
// DISP_SCALE = 16
//float fDisparity = outputDisparityValue / 
(float)StereoMatcher::DISP_SCALE;
//float fDistance = fMaxDistance / fDisparity;
reprojectImageTo3D(filtered_disp_vis, Image, Q, false, CV_32F);
//cout << Image;
for (int i = 0; i < filtered_disp_vis.cols; i++)
{
for (int j = 0; j < filtered_disp_vis.rows; j++)
{
int d = filtered_disp_vis.at<uchar>(j, i);
//filtered_disp_vis.convertTo(filtered_disp_vis, CV_32F, 1.0 / 16.0, 0.0);
//int l = img_left.at<uchar>(j, i);
//cout << "(" << j << "," << i << ")" << "=" << d;
//out << endl;
// if low disparity, then ignore
/*if (d < 2) {
continue;
}*/
// V is the vector to be multiplied to Q to get
// the 3D homogenous coordinates of the image point
V.at<double>(0, 0) = (double)(i);
V.at<double>(1, 0) = (double)(j);
V.at<double>(2, 0) = (double)d;
V.at<double>(3, 0) = 1.;
pos = Q * V; // 3D homogeneous coordinate
double X = pos.at<double>(0, 0) / pos.at<double>(3, 0);
double Y = pos.at<double>(1, 0) / pos.at<double>(3, 0);
double Z = pos.at<double>(2, 0) / pos.at<double>(3, 0);

if (i == 446 && j == 362)
{
cout << "(" << j << "," << i << ")" << " =   ";

cout << X << " " << Y << " " << Z << " " << d;
cout << endl;
}

Mat point3d_cam = Mat(3, 1, CV_64FC1);
point3d_cam.at<double>(0, 0) = X;
point3d_cam.at<double>(1, 0) = Y;
point3d_cam.at<double>(2, 0) = Z;
// transform 3D point from camera frame to robot frame
//Mat point3d_robot = XR * point3d_cam + XT;
points.push_back(Point3d(point3d_cam));
}

我哪里错了？对我的代码片段的任何修改或不同的建议以获得具有准确深度值的适当视差图将不胜感激。

Answer 1

我还不能在你的问题中添加评论(因为声誉最低)。所以我会在这里评论:

1 - 您是否尝试过仅使用来自 KITTI 数据集的一对帧进行后过滤？如果是这样，结果是否也变坏了？

2 - 如果 KITTI 数据集没问题，那么问题可能出在你的校准上。在立体校准和校正之后，您是否应用了 undistort(对于两个相机校准)？

* undistort :

---

第二部分(我试图把它作为对你评论的回应，但我的回应对于评论字段来说太大了......)=P

抱歉耽搁了，但是这几天我很忙。那么，让我们分成几部分:

1) 我使用了 filtered_disp_vis。

2) 如果 KITTI 没有问题，那么问题可能出在您的相机或整改上。你用的是什么相机？你的相机静止不动吗？

2.1) 我曾经使用简单的网络摄像头(滚动快门系统)，但大多数时候结果看起来很糟糕。具有全局快门系统的相机是立体视觉的理想选择。

3) 对于不同的颜色，我使用了来自 OpenCV 的“applyColorMap”。

---

第三部分(又太长了):

a) 好吧，看起来这个相机传感器是滚动快门，但我不确定......可以工作，但如果你想继续移动你的相机，你就会遇到问题。校准期间尽量不要握住相机，尽量放在一个表面上让它停下来。这里有关于校准的好技巧:camera calibration

b) 它不是实时的，但它与 CPU 一样快。我只是用 VideoCapture 拍摄帧，当帧不断出现时，我在“while”循环中移动到 cv::Mat。

cv::Mat imgOne, imgTwo;

VideoCapture videoOne("path/To/The/Frames/%10d.png");
VideoCapture videoTwo("path/To/The/FramesTwo/%10d.png");

while(1){
    videoOne >> imgOne;
    videoTwo >> imgTwo;

    //rest of code.
}

c) 我没有进行 3D 重建。

d) 用Vec3b取一个位置，用uchar取每个 channel 的值。我没有执行任何额外的转换。