python - 根据注释文件为音频片段生成 mfcc

Question

我的主要目标是将 mfcc 特征提供给 ANN。

但是我卡在了数据预处理步骤，我的问题分为两部分。
背景:
我有一个音频。我有一个 txt 文件，其中包含如下注释和时间戳:

0.0 2.5 Music  
2.5 6.05 silence  
6.05 8.34 notmusic  
8.34  12.0  silence  
12.0  15.5 music  

我知道对于单个音频文件，我可以像这样使用 librosa 计算 mfcc:

import librosa
y, sr = librosa.load('abcd.wav')
mfcc=librosa.feature.mfcc(y=y, sr=sr)

第 1 部分:我无法理解两件事:
如何根据注释中的段计算 mfcc。

第 2 部分:如何最好地存储这些 mfcc，以便将它们传递给 keras DNN。即，每个音频段计算的所有 mfcc 是否应该保存到单个列表/字典中。或者最好将它们保存到不同的词典中，以便属于一个标签的所有 mfcc 都在一个地方。

我是音频处理和 Python 的新手，所以我愿意接受有关最佳实践的建议。

非常乐意提供更多详细信息。谢谢。

Answer 1

第 1 部分:MFCC 到标签的转换

从 librosa 文档中看并不明显，但我相信 mfcc 的计算帧速率约为 23 毫秒。使用上面的代码 mfcc.shape 将返回 (20, x)，其中 20 是特征数，x 对应于 x 帧数。 mfcc 的默认 hop_rate 是 512 个样本，这意味着每个 mfcc 样本跨越大约 23mS (512/sr)。

使用它，您可以计算文本文件中哪个帧与哪个标签对应。例如，标签 Music 从 0.0 到 2.5 秒，因此 mfcc 帧 0 到 2.5*sr/512 ~= 108。它们不会完全相等，因此您需要对值进行四舍五入.

第 2A 部分:DNN 数据格式

对于输入(mfcc 数据)，您需要了解输入的内容。您将拥有 20 个特征，但您是想将单个帧输入到您的网络中，还是要提交时间序列。你的 mfcc 数据已经是一个 numpy 数组，但是它的格式为(特征，样本)。您可能想要反转 Keras 的输入。您可以使用 numpy.reshape 来做到这一点。

对于输出，您需要为文本文件中的每个标签分配一个数值。通常，您会将 标记为整数 存储在字典中。然后，这将用于为网络创建训练输出。每个输入样本应该有一个输出整数。

第 2B 部分:保存数据

执行此操作的最简单方法是使用 pickle 保存并稍后重新加载。我喜欢使用一个类来封装输入、输出和字典数据，但您可以选择适合您的任何一种。