c++ - 深度+颜色的3D投影

Question

我有一张彩色图像及其深度图，它们都是由 Kinect 捕获的。我想将它投影到另一个位置(以查看它在另一个视角下的样子)。由于我没有 Kinect 的内在参数(相机参数)；我该如何实现？

P.S:我正在用 C++ 编写代码。

Answer 1

有了深度框架和颜色框架，你应该有足够的数据来实现类似于你想要做的事情。

在颜色框中，您拥有每个像素的颜色。在深度框架中，您有每个像素的距离。

(请记住，由于每个传感器的位置，深度帧和彩色帧中的数据之间存在微小差距。查看映射辅助方法:MapDepthFrameToColorFrame)

如果同时获取深度和颜色帧中的所有数据，则可以将每个像素绘制为 3 维世界中的一个点。假设您的分辨率为 640x480。您将在 640(x = 宽度)、480(y = 高度)、~3000(z = 深度)的矩形中绘制场景。然后你可以改变观点!

唯一的问题是您没有正确的 Z 轴刻度。如果你想要更好的结果，你也应该使用 SkeletonFrame。因此，您将获得实际的 X、Y 和 Z 值(以米为单位)。您可以再次使用辅助方法(MapDepthToSkeletonPoint)为每个深度点获取相应的骨架点!

如果你看this post ，您会找到一个显示结果的视频、一段 C# 代码以及一个可以重复使用的项目示例。