audio - 如何提取音频数据以进行比较？

Question

我正在从事一个涉及机器学习和数据比较的项目。

出于该项目的目的，我将抽象的视频数据馈送到神经元网络。

现在，抽象图像数据非常简单。我可以在视频中的某些点拍摄静止帧，将它们按比例缩小为5 x 5像素(或任何其他可管理的分辨率)，并获取像素值进行分析。

所得数据提供了一个独特的，较小的且数据量有点丰富的样本(即使5个5x5像素的样本也足以将戏剧与自然纪录片区分开，等等)。

但是，我被卡在音频部分。由于音频由样本组成，并且每个样本本身没有固有的含义，因此我找不到将音频抽象为可处理块的方法。

这个过程有通用的技术吗？如果不是，可以量化和提取音频数据的哪些指标？

Answer 1

您所需的过程是音频特征提取。存在大量特征检测算法，通常专门研究音乐或语音信号。
对于音乐，色度，节奏，和声分布都是您可能会提取的所有功能，以及更多其他功能。
通常，音频特征提取算法在相当宏观的级别上工作-也就是说，一次要处理数千个样本。

Sonic visualiser是一个入门的好地方，它是音频可视化算法的插件主机，其中许多都是特征提取器。

YAAFE可能还包含一些有用的东西。