unity3d - 使用 Kinect 在 Unity 中生成实时 3D(网格)模型

Question

我目前正在开发一个应用程序，其初始目标是实时获取 Kinect 设备“看到”的环境的 3D 模型。此信息稍后将用于投影映射，但目前这不是问题。

有几个挑战需要克服，即 Kinect 将安装在移动平台(机器人)上，并且模型生成必须实时(或接近于它)。

经过对这个主题的长期研究，我想出了几种可能的(？)架构:

1) 使用从 Kinect 获得的深度数据，将其转换为点云(此步骤使用 PCL)，然后是 Mesh，然后将其导出到 Unity 以供进一步工作。

2)使用从Kinect获取的深度数据，转换成点云(这一步用PCL)，导出到Unity，再转换成Mesh。

3)使用已经可以选择创建网格模型的 KinectFusion，并且(不知何故)自动将创建的网格模型加载到 Unity 中。

4)使用OpenNI+ZDK(+wrapper)获取深度图，使用Unity生成Mesh。

老实说，我有点迷失在这里，我的主要问题是实时要求以及被迫集成多个软件组件使这成为一个棘手的问题。我不知道这些解决方案中的哪一个是可行的，并且关于这些问题的信息/教程并不像 Skeleton tracking 那样丰富。

任何形式的帮助将不胜感激。

问候，
努诺

Answer 1

抱歉，我可能没有为 Unity 中的实时网格创建提供解决方案 - 但这里的过程讨论很有趣，我可以回答。

在硬科学小说《Memories with Maya》中 - 讨论了这种场景:

““捕获重点，”他说，“所以……萨蒂什向我展示了 Quad [Quad=Drone] 获取实时深度和纹理贴图的演示。”

“这没什么新鲜的，”我说。
“是的，但请看我们上方。”
我抬起头。 Quad 的粗犷外形映入眼帘。

“Quad 在这里，但你看不到它，因为 FishEye [Fisheye=Kinect 2] 就在它上面，直接瞄准前方。”

“所以它是在实时几何图形上映射视频纹理？酷，”我说。

“是啊，突破是我可以卡住一个画面……卡住现实生活，走出场景研究它。”

“你所做的就是用交叉偏光镜挡住现实世界？”

“是的，”他说。 “对于 AYREE 来说，能够使用这样的数据集是一件大事。”

“分辨率提高了，”我说。

“很好的观察，”他说。 “距离感应也是如此。镜头光学系统也进行了升级。”

“我注意到，如果我转身，就看不到现场直播，只看到空荡荡的街道，”我说。

“是的，当然，”他回答。 “Quad 面向相反方向。这就是我站在你面前的原因。然而，整条街道是一个 3D 模型，通过从那座高塔顶部拍摄的标准激光扫描完成。”
Krish 指着街道尽头的一块积木。我再次回到实时 3D View 。他走到我面前。

“这太酷了。每个人看起来都那么真实。”

“哈哈。当你亲自带着 Wizer 来到这里时，你应该看到它有多酷，”他说。 “我在这里看着这些真实的人经过，只有他们自己的网格映射到他们身上。”

“啊啊!是的。”

“是的，就好像他们身上有活的油漆。我想伸出手去触摸，只为感受质感。”...

您正在考虑在该领域进行的工作以及实时网格的这种使用远远超出了事件的投影映射 - 当然!

祝你在这个项目上一切顺利，我会关注你的更新。
这个故事背后的一些科学在 www.dirrogate.com如果你对这个话题感兴趣。
亲切的问候。