video - 开源镜头检测实现？

Question

我正在尝试实现一个视频检索系统，我需要首先从视频中提取关键帧，理想情况下我想要一个库来自动检测这些关键帧，每个镜头都有一个关键帧。如果我可以配置要提取的关键帧(镜头中连续帧的第一帧、中间帧或最后一帧)，那就更好了。是否有针对此的开源实现？

Answer 1

您所追求的称为镜头分割。虽然这是一个非常活跃的研究领域，但我认为您不太可能找到任何开箱即用的完整库来解决问题。您最好的选择可能是阅读该主题，选择最适合您要求的方法并自行编码。

一种方法是计算相邻帧的颜色直方图之间的卡方距离。当此距离超过用户指定的阈值时，您就处于镜头边界。 this paper 中解释了该方法:

A. Nagasaka and Y. Tanaka, "Automatic video indexing and full-video search for object appearances", Journal of Information Processing archive, Volume 15, Issue 2 (1992), Page 316

我试过它，并取得了一些成功。值得注意的失败是单次拍摄中的突然光线变化(由相机闪光灯等引起)和混合镜头变化。

一旦您知道了镜头边界，从每个镜头中挑选一个关键帧就变得微不足道了，正如其他人所指出的那样。