algorithm - 在数百万用户编辑的音频文件中查找重复内容(音频内容散列)

Question

我有一个问题，包括处理超过一百万个音频文件(来自用户生成的视频内容)，这些文件可能已经过编辑(主要是剪切)并以各种质量上传。我的任务是将所有重复项映射到一个项目 ID，以便我们稍后可以过滤以仅显示完整长度和最佳质量的视频。

由于视频之间的视觉差异可能不会因不同文件而异，因此我们希望将音轨用于我们的目的。这就是为什么我要搜索对上述内容有一定抵抗力的音频内容散列。您可以将其称为“Shazam”问题。

我的问题是:您认为找到这些潜在重复项的最简单方法是什么(可以进行手动批准)？

一个子问题是:您将如何解决不处理相位不同的音频文件 block 的问题(确保来自 2 个不同长度音频的哈希输入始终相同)。

我目前的方法是处理音频，并在给定时间窗口内对声波上的每个局部高音在接下来的 20-30 秒 block 上生成某种哈希。只要重复查找过程是某种键值查找而不是与所有其他哈希的交集，我就可以轻松地为每个文件存储几十个哈希。

我没有元数据或任何其他可以使用的东西。

Answer 1

关于 shazam 内部工作原理的描述非常好:

An Industrial-Strength Audio Search Algorithm

他们搜索最突出的频率分量及其相对距离，并以一种允许快速搜索和匹配的巧妙方式存储这些距离。

这可能看起来非常复杂，但要对音频文件进行可靠的指纹识别需要付出一些努力，这根本不是一个小问题。