collision-detection - 如何将相机图像集成到物理引擎中？

Question

我最近遇到了 this video并想实现类似的东西。基本方法很明确:我必须对图像进行阈值处理并检查虚拟对象是否与剩余前景发生碰撞。

我不想自己实现物理，而是想使用像 Box2D 这样的引擎。但是，如何将经过阈值处理的图像集成到物理引擎中，以便与虚拟对象进行交互？

Answer 1

您想进行边缘检测。有用于此的开源算法。虽然您可以按照您的建议设置阈值，但良好的边缘检测算法可以在没有这个的情况下工作并且可能会更有趣，因为您不需要纯白色背景来获得有趣的结果。查看 OpenCV http://www.mathworks.com/products/imaq/demos.html?file=/products/demos/shipping/imaq/demoimaqsl_edgedetection.html对于初学者。

边缘检测器最终会生成像素坐标中的向量作为输出。您需要将它们转换为 Box2D b2_staticBody 对象，这些对象根据与生成边缘的视频帧相同的时间序列在程序控制下移动。现在您可以将动力学对象添加到 Box2D 环境中，它们的行为就像边缘是不可移动的固体一样。

最后，您必须将 Box2D 输出叠加到视频帧上。 OpenCV 也应该对此有所帮助。或者您可以使用视频编辑工具。

这会增加很多工作量，但您甚至可以让它实时工作。请注意，如果您可以访问 MATLAB，它的其中一个工具箱中有一个视频帧率边缘检测器。