projection - Kitti Velodyne 点到像素坐标

Question

从Velodyne点，如何获取每个相机的像素坐标？

使用pykittipoint_cam0 = data.calib.T_cam0_velo.dot(point_velo)我们可以得到图像上的投影，即 Kitti Dataset paper 的方程 7 :

y = P_矩形⁽ⁱ⁾ R_矩形⁽⁰⁾ T_{velo子>^凸轮 x}

但是从那里，如何获取每个图像上的实际像素坐标？

Answer 1

更新:PyKitti 0.2.1 版公开了所有相机的投影矩阵。

我最近也遇到了同样的问题。对我来说，问题是 pykitty 没有公开所有相机的 P_rect 和 R_rect 矩阵。

对于 Pykitti > 0.2.1，使用校准数据中的 P_rect 和 R_rect。

对于以前的版本，您有两个选择:

1. 手动输入矩阵(数据位于每个序列的 .xml 校准文件中)。
2. 使用 pykitti 的这个分支:https://github.com/Mi-lo/pykitti/

然后，您可以使用方程 7 将 velodyne 点投影到图像中。请注意:

• 您将需要齐次坐标中 4xN 数组形式的 3D 点。 pykitti 返回的点是一个 Nx4 numpy 数组，反射率位于第四列。您可以使用下面的 prepare_velo_points 函数准备点，该函数仅保留反射率 > 0 的点，然后将反射率值替换为 1 以获得齐次坐标。

• velodyne 是 360°。即使对于相机后面的点，公式 7 也会给出结果(它们将像在前面一样进行投影，但垂直镜像)。为了避免这种情况，您应该仅投影相机前面的点。为此，您可以使用下面的函数project_velo_points_in_img。它返回齐次坐标中的 2d 点，因此您应该丢弃第三行。

以下是我使用的函数:

def prepare_velo_points(pts3d_raw):
    '''Replaces the reflectance value by 1, and tranposes the array, so
       points can be directly multiplied by the camera projection matrix'''

    pts3d = pts3d_raw
    # Reflectance > 0
    pts3d = pts3d[pts3d[:, 3] > 0 ,:]
    pts3d[:,3] = 1
    return pts3d.transpose()

def project_velo_points_in_img(pts3d, T_cam_velo, Rrect, Prect):
    '''Project 3D points into 2D image. Expects pts3d as a 4xN
       numpy array. Returns the 2D projection of the points that
       are in front of the camera only an the corresponding 3D points.'''

    # 3D points in camera reference frame.
    pts3d_cam = Rrect.dot(T_cam_velo.dot(pts3d))

    # Before projecting, keep only points with z>0 
    # (points that are in fronto of the camera).
    idx = (pts3d_cam[2,:]>=0)
    pts2d_cam = Prect.dot(pts3d_cam[:,idx])

    return pts3d[:, idx], pts2d_cam/pts2d_cam[2,:]

希望这有帮助!