c++ - h.264 压缩视频中的对象跟踪

Question

我正在从事一个项目，该项目要求我通过连接到 Beagleboard xm 的网络摄像头检测和跟踪实时视频中的人物。我已经在像素域中使用 Opencv 完成了这项任务。板上的结果非常准确，但速度极慢。许多人建议我离开像素域并在 h.264/MPEG-4 压缩视频中执行相同的任务，因为它会极大地减少计算开销。我阅读了很多研究论文，但未能找到可用于分析和处理 h.264 压缩视频的软件平台或库。如果有人可以向我推荐一些用于 h.264 压缩视频分析的库并进一步指导我，我将不胜感激。

感谢和问候。

Answer 1

我不确定这到底有多实用(我从来没有尝试过这样做)，但我猜测是他们指的是寻找一 block 所有具有(几乎)相同运动 vector 的宏 block 。

例如，假设您有一台未摇摄的相机，图片显示一辆汽车驶过屏幕。查看运动 vector ，您应该有一组(大致)汽车形状的宏 block ，它们都具有相似的运动 vector (表示汽车的运动)。然后，与其查看感兴趣对象的整个图片，不如单独查看该 block 并尝试识别它。同样，如果相机与汽车一起摇摄，您会得到一个带有小运动 vector 的汽车形 block ，并且大部分背景会在与汽车运动相反的方向上具有相似的运动 vector 。

但是请注意，这可能充其量是不精确的。举个例子，让我们假设我们的神话般的汽车在一座砖砌建筑前行驶，它的前灯照亮了一些砖 block 。在这种情况下，一张图片中的一 block 砖可能(很容易)不指向前一张图片中的同一 block 砖，而是指向前一张图片中碰巧被大致相同照亮的砖。砖 block 非常相似，因此最接近的匹配将更多地取决于照明而不是砖 block 本身。