image - 使用RGB图像和PointCloud，如何从PointClouds生成深度图？ (Python)

Question

我正在融合激光雷达和相机图像，以便使用 CNN 执行分类对象算法。

我想使用提供同步激光雷达和 rgb 图像数据的 KITTI 数据集。激光雷达是 3D 扫描仪，因此输出是 3D 点云。

我想使用点云中的深度信息作为 CNN 的 channel 。但我从来没有使用过点云，所以我在寻求帮助。是否将点云投影到相机图像平面(使用 Kitti 提供的投影矩阵)会给我我想要的深度图？ Python libray pcl 有用还是我应该转向 C++ 库？

如果您有任何建议，请提前感谢

Answer 1

我不确定 Kitti 提供的投影矩阵包括什么，所以答案是视情况而定。如果此投影矩阵仅包含一个变换矩阵，则无法从中生成深度图。 2D 图像具有来自 2D 相机的失真，而点云通常没有失真，因此您无法在没有内在和外在参数的情况下“精确地”将点云映射到 rgb 图像。

PCL 不需要这样做。

深度图本质上是将深度值映射到 rgb 图像。您可以将点云中的每个点(lider 的每个激光)视为 rgb 图像的一个像素。因此，我认为您需要做的就是找到点云中与 rgb 图像的第一个像素(左上角)对应的点。然后根据 rgb 图像分辨率从点云中读取深度值。