python - 如何使用神经网络提取音频剪辑中 Feather 球击球声音的所有时间戳？

Question

我正在尝试在取自 Feather 球比赛的源音频文件中查找其中一名球员击球的实例。出于同样的目的，我用正面(命中声音)和负面(没有命中声音:评论/人群声音等)标签标记了时间戳，如下所示:

shot_timestamps = [0,6.5,8, 11, 18.5, 23, 27, 29, 32, 37, 43.5, 47.5, 52, 55.5, 63, 66, 68, 72, 75, 79, 94.5, 96, 99, 105, 122, 115, 118.5, 122, 126, 130.5, 134, 140, 144, 147, 154, 158, 164, 174.5, 183, 186, 190, 199, 238, 250, 253, 261, 267, 269, 270, 274] 
shot_labels = ['no', 'yes', 'yes', 'yes', 'yes', 'yes', 'no', 'no', 'no', 'no', 'yes', 'yes', 'yes', 'yes', 'yes', 'no', 'no','no','no', 'no', 'yes', 'yes', 'no', 'no', 'yes', 'yes', 'yes', 'yes', 'yes', 'yes', 'yes', 'no', 'no', 'no', 'no', 'yes', 'no', 'yes', 'no', 'no', 'no', 'yes', 'no', 'yes', 'yes', 'no', 'no', 'yes', 'yes', 'no'] 

我一直在围绕这些时间戳记 1 秒的窗口，如下所示:

rate, source = wavfile.read(source) 
def get_audio_snippets(shot_timestamps): 

    shot_snippets = []  # Collection of all audio snippets in the timestamps above 

    for timestamp in shot_timestamps: 
        start = math.ceil(timestamp*rate)
        end = math.ceil((timestamp + 1)*rate)
        if start >= source.shape[0]: 
            start = source.shape[0] - 1

        if end >= source.shape[0]: 
            end = source.shape[0] - 1  

        shot_snippets.append(source[start:end]) 
        
    return shot_snippets

并将其转换为模型的频谱图图像。该模型似乎没有以大约 50% 的准确度学习任何东西。我可以做些什么来改进模型？

编辑:

音频文件:Google Drive

时间戳标签:Google Drive

代码:Github

这些时间戳是最近制作的，并没有在上面的代码中使用，因为我不完全知道用于标记目的的窗口大小。上面的注释文件包含击球的所有时间戳。

PS:还按照建议在 Data Science Stackexchange 上添加了这个:https://datascience.stackexchange.com/q/116629/98765

Answer 1

检测特定声音何时发生称为声音事件检测 (SED)。几十年来，人们一直在积极研究这个主题，因此有多种方法。

您现有的解决方案，即在波形域中使用某些模板声音的相关性，不太可能适用于此任务。这是因为一场比赛中 Feather 球击球声音之间的变化量可能非常高。

推荐的方法是收集一个小数据集，并使用监督学习来学习检测器。举例来说，从 20 场不同的比赛中获取数据(最好使用不同的记录设置等)，然后根据时间段对每个短片进行注释，以从每场比赛中获得至少 50 次射门。

使用深度学习进行声音事件检测

可以在 Sound Event Detection: A Tutorial 中找到对现代深度学习方法的描述。 .它描述了所需的部分:

• 使用对数标度的梅尔频谱图进行音频预处理
• 将频谱图拆分为固定长度的重叠窗口
• 使用卷积循环神经网络 (CRNN) 的模型架构
• 使用时间序列(事件激活)作为神经网络的输出/目标
• 将连续事件激活后处理为离散事件
• 使用基于事件的指标评估模型性能

可以在 this notebook 中找到一个完整的实现，使用您注释的匹配项的音频和标签。 .

我在这里复制了一些关键代码，以供后代使用。

SEDNet模型

def build_sednet(input_shape, filters=128, cnn_pooling=(5, 2, 2), rnn_units=(32, 32), dense_units=(32,), n_classes=1, dropout=0.5):
    """
    SEDnet type model
    Based https://github.com/sharathadavanne/sed-crnn/blob/master/sed.py
    """
    from tensorflow.keras import Model
    from tensorflow.keras.layers import Input, Bidirectional, Conv2D, BatchNormalization, Activation, \
            Dense, MaxPooling2D, Dropout, Permute, Reshape, GRU, TimeDistributed
    
    spec_start = Input(shape=(input_shape[-3], input_shape[-2], input_shape[-1]))
    spec_x = spec_start
    for i, pool in enumerate(cnn_pooling):
        spec_x = Conv2D(filters=filters, kernel_size=(3, 3), padding='same')(spec_x)
        spec_x = BatchNormalization(axis=1)(spec_x)
        spec_x = Activation('relu')(spec_x)
        spec_x = MaxPooling2D(pool_size=(1, pool))(spec_x)
        spec_x = Dropout(dropout)(spec_x)
    spec_x = Permute((2, 1, 3))(spec_x)
    spec_x = Reshape((input_shape[-3], -1))(spec_x)

    for units in rnn_units:
        spec_x = Bidirectional(
            GRU(units, activation='tanh', dropout=dropout, recurrent_dropout=dropout, return_sequences=True),
            merge_mode='mul')(spec_x)

    for units in dense_units:
        spec_x = TimeDistributed(Dense(units))(spec_x)
        spec_x = Dropout(dropout)(spec_x)
    spec_x = TimeDistributed(Dense(n_classes))(spec_x)

    out = Activation('sigmoid', name='strong_out')(spec_x)
    model = Model(inputs=spec_start, outputs=out)
    return model

首先尝试使用参数量适中的低复杂度模型。

model = build_sednet(input_shape, n_classes=1,
                         filters=10,
                         cnn_pooling=[2, 2, 2],
                         rnn_units=[5, 5],
                         dense_units=[16],
                         dropout=0.1)

将输入拆分到窗口

def compute_windows(arr, frames, pad_value=0.0, overlap=0.5, step=None):
    if step is None:
        step = int(frames * (1-overlap))
        
    windows = []
    
    width, length = arr.shape
    
    for start_idx in range(0, length, step):
        end_idx = min(start_idx + frames, length)

        # create emmpty
        win = numpy.full((width, frames), pad_value, dtype=float)
        # fill with data
        win[:, 0:end_idx-start_idx] = arr[:,start_idx:end_idx]

        windows.append(win)

    return windows

训练

以 Keras 模型的标准方式完成。

使用训练好的模型

要获得事件预测，我们需要:

• 将频谱图拆分到窗口中
• 在所有窗口上运行模型
• 合并来自窗口的预测

这是关键代码。

def merge_overlapped_predictions(window_predictions, window_hop):
    
    # flatten the predictions from overlapped windows
    predictions = []
    for win_no, win_pred in enumerate(window_predictions):
        win_start = window_hop * win_no
        for frame_no, p in enumerate(win_pred):
            s = {
                'frame': win_start + frame_no,
                'probability': p,
            }
        
            predictions.append(s)

    df = pandas.DataFrame.from_records(predictions)
    df['time'] = pandas.to_timedelta(df['frame'] * time_resolution, unit='s')
    df = df.drop(columns=['frame'])

    # merge predictions from multiple windows 
    out = df.groupby('time').median()
    return out

def predict_spectrogram(model, spec):
    
    # prepare input data. NOTE: must match the training preparation in getXY
    window_hop = 1
    wins = compute_windows(spec, frames=window_length, step=window_hop)       
    X = numpy.expand_dims(numpy.stack( [ (w-Xm).T for w in wins ]), -1)
    
    # make predictions on windows
    y = numpy.squeeze(model.predict(X, verbose=False))

    out = merge_overlapped_predictions(y, window_hop=window_hop)
    return out

结果

以下是对前 3.5 分钟音频进行训练，然后使用最后 1.5 分钟作为验证 + 测试的结果。

带注释的基本事实以绿色显示，输出预测以蓝色显示。大约 0.3 的阈值会好于此处显示的 0.5。

val/test 的事件级 F1 分数约为 0.75。但是通过来自多场比赛的训练数据，我希望这会大大改善。