python - 将稀疏 2D LiDAR 图像修复为密集深度图像

Question

我正在研究分类问题(自动驾驶车辆的对象分类)。我使用 KITTI 的数据集，它提供 LiDAR 和相机数据，并希望使用这两个数据来执行任务。

3D LIDAR 数据被投影到 RGB 图像的坐标系上，从而生成稀疏 LiDAR 图像:

每个像素都使用深度进行编码(到点的距离:sqrt(X² + Y²)，缩放范围在 0 到 255 之间)。

为了让我的 CNN 获得更好的结果，我需要一张密集的 LiDAR 图像，有人知道如何使用 Python 来实现吗？

我想获得这样的东西

Answer 1

我以前从未使用过点云数据/激光雷达，但由于尚未有人回答，我将尽力而为。我不确定修复方法是否可行，尽管我想它们可能效果不是很好(除了变分方法，我认为这种方法会很慢)。但是，如果您的目标是将 3D LIDAR 读数(当伴有环 ID 和激光强度读数时)投影到密集的 2D 矩阵(用于 CNN)中，则以下引用可能会很有用。此外，在本文中，他们引用了之前的工作 ( Collar Line Segments for Fast Odometry Estimation from Velodyne Point Clouds )，其中更详细地介绍了极坐标合并技术， and has C++ code available 。查看论文，但我将尝试在这里总结该技术:

使用 Polar Binning 编码稀疏 3D 数据

CNN for Very Fast Ground Segmentation in Velodyne LiDAR Data- 在第 III.A 节(将稀疏 3D 数据编码为密集 2D 矩阵)中描述了其预处理技术。

• 1) 令 P 代表您的原始点云，M 表示您希望输出的多 channel 密集矩阵。 M的大小取决于扫描时使用的激光束数量和扫描仪的水平角分辨率。
• 2) 将点云数据聚合到极坐标箱 b(r, c) 中，其中 r 代表环 id，c = Floor((R * atan(x/z) + 180)/360)。
• 3) 使用以下映射将 bin b(r, c) 映射到矩阵 M 中的相应值 m(r, c)，其中 p^i 是激光强度读数:

• 4) 在空箱的情况下，从其邻域线性插值 m(r,c) 的值。

提高稀疏映射的性能

最后，看下面的论文，他们介绍了一些在 CNN 中使用稀疏 Velodyne 读数的技术。也许看看这些是否可以提高您的表现？

Vehicle Detection from 3D Lidar Using Fully Convolutional Network- 在第 III.A 节(数据准备)中描述其预处理技术。

将范围数据编码为 2 channel 图像

• 1)初始化2 channel 矩阵I；用零填充
• 2) 给定坐标 (x, y, z)，令 theta = atan2(y, x) 并令 phi = arcsin(z/sqrt(x^2 + y^2 + z^2))
• 3) 令 delta_theta、delta_phi 分别等于连续光束发射器之间的平均水平和垂直分辨率。
• 4) 让 r = Floor(theta/delta_theta);令c = 下限(phi/delta_phi)
• 5) 设 d = sqrt(x^2 + y^2)
• 6) 设 I(r, c) = (d, z)；如果两个点转换到同一位置(罕见)，则使该点更靠近观察者

不等(上/下)采样

• 在第一个卷积层中，作者水平下采样 4 倍，垂直下采样 2 倍；这是因为对于 Velodyne 点图，水平层中的点更密集。他们在最终的反卷积层中按相同的因子进行上采样(同时预测车辆的“对象性”及其边界框)。

所有技术都是针对 KITTI 数据集/Velodyne LIDAR 实现的，因此我认为它们可以适用于您的特定用例(也许需要进行一些修改)。