opencv - 如何通过多个摄像头跟踪人物？

Question

这是设置:一个相当大的房间，天花板上安装了 4 个鱼眼摄像头。没有盲点。每个摄像头的覆盖范围彼此都有点重叠。

我们的想法是通过这些摄像头跟踪人们。截至目前， Blob 提取算法已经到位，可以将人检测为 Blob 。这是一个相当不错的工作算法，可以很好地检测个人。我正在为所有这些使用 OpenCV API。

我所说的跟踪人物的意思是，摄像头 1 识别出两个人，比如人 A 和人 B。现在，当这两个人从摄像头 1 的覆盖范围移动到摄像头 1 和摄像头 2 的重叠覆盖区域时并进入只有 cam2 覆盖的区域，cam2 应该能够将他们识别为 A 和 B cam1 识别他们的同一个人。

这就是我想我会做的 -1) 相机以 15fps 渲染图像，我认为帧的尺寸为 1920x1920。

2) 分别识别每个相机中的 Blob ，并为每个 Blob 赋予唯一的标签。

3) 现在关于重叠 - 计算一个仿射变换矩阵，将一个摄像机帧上的像素映射到另一个摄像机帧上 - 这不需要对每一帧都完成 - 这可以在整个过程开始之前完成，作为预处理步骤。所以实时地，每当我检测到重叠区域中的 Blob 时，我所要做的就是将变换矩阵应用于 cam1 中的像素，并查看 cam2 中是否有相应的 Blob 并给它们相同的标签。

所以，问题:

1) 这个系统会不会给我一个工作不佳的系统来跟踪人们？

2) 那么，对于仿射变换，我是否必须将鱼眼图像转换为直线图像？ (我的回答是肯定的，但我不太确定)请随时指出可能的错误以及为什么某些事情在我描述的过程中可能不起作用。也欢迎其他建议!时间差

Answer 1

1- blob 提取不足以跟踪特定对象，对于人的情况我建议 HoG - 或者至少在 blob 提取之前减去背景，因为所有相机都有静止场景。

2- opencv <=2.4.9 使用针孔模型进行立体视觉。因此，在使用 opencv 方法进行任何校准之前，您的鱼眼图像必须是 converted to首先是直线图像。您可以尝试使用 other approaches 校准自己也是

3.0.0 版将支持 fisheye model .它处于 alpha 阶段，您仍然可以下载并尝试一下。