image-processing - 以编程方式从 MP4 获取不重叠的图像

Question

我的最终目标是从 30 分钟或 1 小时长的 MP4 视频中获取有意义的快照。 “有意义”有点野心勃勃，所以我简化了我的要求。

图像应该清晰 - 不重叠，理想情况下不模糊。最初，我认为获取关键帧会起作用，但我不知道关键帧可以像这样嵌入重叠图像:

当然，一些关键帧图像看起来像这样，而那些要好得多:



我想知道是否有人可能有源代码:

取 10-15 个连续关键帧(jpg 或 png)的序列，并从所有关键帧中找出最佳关键帧。

这必须完全以编程方式发生。我找到了这篇论文:http://research.microsoft.com/pubs/68802/blur_determination_compressed.pdf

并觉得我可以根据上面的论文“排名”一些图像，但后来我被这个链接劝阻了:Extracting DCT coefficients from encoded images and video鉴于我的源视频是 MP4。当然，这让我感到困惑，因为系统的输入只是一系列 jpg 图像。

另一个有趣的链接是:

Detection of Blur in Images/Video sequences

但是，我不确定这是否适用于“重叠”图像。

Answer 1

第一张图片来自场景转换时的隔行扫描视频。这两个字段属于不同的场景。对视频进行去隔行扫描会有所帮助，试试 ffmpeg 过滤器 -filter:v yadif .我不确定 yadiff 是如何工作的，但如果它提取两个字段并将它们缩放到原始大小，它会起作用。另一种方法是检测两个字段(提取交替行并形成具有一半高度的图像并区分它们)是否彼此非常不同并忽略这些图像。