image - 使用 ffmpeg 将图像与视频中的特定帧匹配

Question

我有一些通过屏幕截图从视频中拍摄的图像。我想知道这些图像何时出现在视频中(时间戳)。有没有办法使用 ffmpeg 或其他工具以编程方式将图像与视频中的特定帧匹配？

我对不同的技术非常开放，因为我渴望将其自动化。手动执行此操作将非常耗时。

Answer 1

您可以获取该图像与视频中每一帧之间的 psnr，匹配的是具有最高 psnr 的帧。 ffmpeg 有一个工具来计算 tests/tiny_psnr 中的 psnr，您可以使用它来一起编写脚本，或者如果您更喜欢编码而不是脚本，那么 ffmpeg 的 libavfilter 模块中也有一个 psnr 过滤器。

编写脚本时，您基本上会将视频解码为 FIFO，将图像解码为文件，然后使用 tiny_psnr 将 FIFO 帧与图像文件重复匹配，为具有最高 psnr 的帧选择帧号。输出将是一个帧号，您可以将其(在命令行上使用 fps 输出)大致转换为时间戳。

编程方面，您将视频和图像解码为 AVFrame，使用 psnr 过滤器比较两者，然后查看输出帧元数据以记录程序中的 psnr 值，并搜索最高的帧元数据 psnr 值，对于该帧， AVFrame->pkt_pts 将是时间戳。