c++ - 两个3D点云变换矩阵

Question

我试图猜测两个 3D 点云之间的刚性变换矩阵。两个点云是那些:

• 来自 kinect 的关键点 (kinect_keypoints)。
• 来自 3D 对象(框)的关键点 (object_keypoints)。

我尝试了两种选择:

<强>[1]。寻找刚性变换算法的实现。

**1.Calculate the centroid of each point cloud.**

**2.Center the points according to the centroid.**

**3. Calculate the covariance matrix**
cvSVD( &_H, _W, _U, _V,  CV_SVD_U_T );
cvMatMul( _V,_U, &_R );
**4. Calculate the rotartion matrix using the SVD descomposition of the covariance matrix**

float _Tsrc[16] = { 1.f,0.f,0.f,0.f,
    0.f,1.f,0.f,0.f,
    0.f,0.f,1.f,0.f,
    -_gc_src.x,-_gc_src.y,-_gc_src.z,1.f };  // 1: src points to the origin
float _S[16] = { _scale,0.f,0.f,0.f,
    0.f,_scale,0.f,0.f,
    0.f,0.f,_scale,0.f,
    0.f,0.f,0.f,1.f };  // 2: scale the src points
float _R_src_to_dst[16] = { _Rdata[0],_Rdata[3],_Rdata[6],0.f, 
    _Rdata[1],_Rdata[4],_Rdata[7],0.f,
    _Rdata[2],_Rdata[5],_Rdata[8],0.f,
    0.f,0.f,0.f,1.f }; // 3: rotate the scr points
float _Tdst[16] = { 1.f,0.f,0.f,0.f, 
    0.f,1.f,0.f,0.f, 
    0.f,0.f,1.f,0.f, 
    _gc_dst.x,_gc_dst.y,_gc_dst.z,1.f }; // 4: from scr to dst

// _Tdst * _R_src_to_dst * _S * _Tsrc
mul_transform_mat( _S, _Tsrc, Rt );
mul_transform_mat( _R_src_to_dst, Rt, Rt );
mul_transform_mat( _Tdst, Rt, Rt );       

<强>[2]。使用来自 opencv 的 estimateAffine3D。

        float _poseTrans[12];
        std::vector<cv::Point3f> first, second;             
        cv::Mat aff(3,4,CV_64F, _poseTrans);
        std::vector<cv::Point3f> first, second; (first-->kineckt_keypoints and second-->object_keypoints)
        cv::estimateAffine3D( first, second, aff, inliers );

        float _poseTrans2[16];

        for (int i=0; i<12; ++i)
        {
            _poseTrans2[i] = _poseTrans[i];
        }

        _poseTrans2[12] = 0.f;
        _poseTrans2[13] = 0.f;
        _poseTrans2[14] = 0.f;
        _poseTrans2[15] = 1.f;

第一个问题是转换不正确，第二个问题是，如果将 kinect 点云与结果矩阵相乘，一些值是无限的。

是否有任何这些选项的解决方案？或者除了 PCL 之外的替代方案？

提前致谢。

Answer 1

编辑:这是一篇旧帖子，但答案可能对某人有用......

您的第一种方法适用于非常特殊的情况(椭圆点云或非常细长的形状)，但不适用于 kinect 获取的点云。关于你的第二种方法，我不熟悉 OpenCV 函数 estimateAffine3D 但我怀疑它假设两个输入点云对应于相同的物理点，如果你使用 kinect 点云则不是这种情况(其中包含嘈杂的测量值)和来自理想 3D 模型的点(非常完美)。

您提到您知道点云库 (PCL) 但不想使用它。如果可能的话，我想你可能想重新考虑一下，因为 PCL 比 OpenCV 更适合你想做的事情(查看教程列表，其中一个涵盖完全你想做的事情:将对象模板与点云对齐)。

但是，对于您的问题，这里有一些替代解决方案:

1. 如果您的两个点云完全对应于相同的物理点，则您的第二种方法应该可行，但您也可以查看绝对方向(例如 Matlab implementation)

2. 如果您的两个点云不对应于相同的物理点，您实际上想要配准(或对齐)它们，您可以使用其中之一:

   • 迭代最近点 (ICP) 算法的众多变体之一，前提是您大致知道对象的位置。 Wikipedia Entry

   • 3D 特征点，例如 3D SIFT、3D SURF 或 NARF 特征点，如果您不知道对象的位置。

同样，所有这些方法都已在 PCL 中实现。