3d - 如何从3D点云数据中提取深度信息？

Question

我有 rgb 图像(我们称之为 test.png )和相应的 3D 云点(使用立体相机提取)。现在，我想使用深度信息来训练我的神经网络。

3D 点云的格式为

.PCD v.7 - Point Cloud Data file format
FIELDS x y z rgb index
SIZE 4 4 4 4 4
TYPE F F F F U
COUNT 1 1 1 1 1
WIDTH 253674
HEIGHT 1
VIEWPOINT 0 0 0 1 0 0 0
POINTS 253674
DATA ascii

我如何从点云中提取深度信息，而不是使用 rgb 图像，我可以添加一个深度 channel 并使用 RGBD 图像来训练我的网络？

例如:两个像素的点云信息(FIELDS)给出为:

1924.064 -647.111 -119.4176 0 25547  
1924.412 -649.678 -119.7147 0 25548

根据描述，它们是空间中的点，与具有 x、y 和 z 坐标的像素(来自 test.png)相交(相对于拍摄图像的机器人的底座，因此出于我们的目的，我们称之为“全局空间”)。 (来自Cornell gras数据集)

您可以通过每行的最后一列(标记为“索引”)来判断每行指的是哪个像素。
该数字是像素的行号和列号的编码。在我们所有的图像中， 有 640 列和 480 行。使用以下公式将索引映射到行、列对。 请注意，index = 0 映射到第 1 行，第 1 列。

行 = 楼层(索引/640)+ 1

col = (index MOD 640) + 1

Answer 1

文件好像是经过处理后保存的，并不是直接在(col, row, depth)中。正如文档中提到的，我们可以通过以下方式恢复与中心的距离:

row = floor(index / 640) + 1
col = (index MOD 640) + 1

请注意，并非所有像素都是有效的 - 因此文件包含大约 80% 的数据而不是 640x480 像素 - 导致“无组织的云”。

import os
import math
import numpy as np
from PIL import Image


pcd_path = "/path/to/pcd file"
with open(pcd_path, "r") as pcd_file:
    lines = [line.strip().split(" ") for line in pcd_file.readlines()]

img_height = 480
img_width = 640
is_data = False
min_d = 0
max_d = 0
img_depth = np.zeros((img_height, img_widht), dtype='f8')
for line in lines:
    if line[0] == 'DATA':  # skip the header
        is_data = True
        continue
    if is_data:
        d = max(0., float(line[2]))
        i = int(line[4])
        col = i % img_width
        row = math.floor(i / img_width)
        img_depth[row, col] = d
        min_d = min(d, min_d)
        max_d = max(d, max_d)

max_min_diff = max_d - min_d


def normalize(x):
    return 255 * (x - min_d) / max_min_diff
normalize = np.vectorize(normalize, otypes=[np.float])
img_depth = normalize(img_depth)
img_depth_file = Image.fromarray(img_depth)
img_depth_file.convert('RGB').save(os.path.join("path/to/output", 'depth_img.png'))

结果图:

原始图像看起来像这样: