gpt4 book ai didi

python - 我可以将使用 librosa 生成的频谱图转换回音频吗?

转载 作者:行者123 更新时间:2023-12-02 22:11:21 25 4
gpt4 key购买 nike

我将一些音频文件转换为频谱图并使用以下代码将它们保存到文件中:

import os
from matplotlib import pyplot as plt
import librosa
import librosa.display
import IPython.display as ipd

audio_fpath = "./audios/"
spectrograms_path = "./spectrograms/"
audio_clips = os.listdir(audio_fpath)

def generate_spectrogram(x, sr, save_name):
X = librosa.stft(x)
Xdb = librosa.amplitude_to_db(abs(X))
fig = plt.figure(figsize=(20, 20), dpi=1000, frameon=False)
ax = fig.add_axes([0, 0, 1, 1], frameon=False)
ax.axis('off')
librosa.display.specshow(Xdb, sr=sr, cmap='gray', x_axis='time', y_axis='hz')
plt.savefig(save_name, quality=100, bbox_inches=0, pad_inches=0)
librosa.cache.clear()

for i in audio_clips:
audio_fpath = "./audios/"
spectrograms_path = "./spectrograms/"
audio_length = librosa.get_duration(filename=audio_fpath + i)
j=60
while j < audio_length:
x, sr = librosa.load(audio_fpath + i, offset=j-60, duration=60)
save_name = spectrograms_path + i + str(j) + ".jpg"
generate_spectrogram(x, sr, save_name)
j += 60
if j >= audio_length:
j = audio_length
x, sr = librosa.load(audio_fpath + i, offset=j-60, duration=60)
save_name = spectrograms_path + i + str(j) + ".jpg"
generate_spectrogram(x, sr, save_name)

我想保留音频的最细节和质量,以便我可以将它们恢复为音频而不会造成太多损失(每个为 80MB)。

是否可以将它们转回音频文件?我该怎么做?

Example spectrograms

我尝试使用 librosa.feature.inverse.mel_to_audio,但没有用,我认为它不适用。

我现在有 1300 个频谱图文件,想用它们训练一个生成对抗网络,这样我就可以生成新的音频,但如果我以后无法听到结果,我不想这样做。

最佳答案

是的,可以恢复大部分信号并估计相位,例如Griffin-Lim 算法 (GLA)。它对 Python 的“快速”实现可以在 librosa 中找到。 .使用方法如下:

import numpy as np
import librosa

y, sr = librosa.load(librosa.util.example_audio_file(), duration=10)
S = np.abs(librosa.stft(y))
y_inv = librosa.griffinlim(S)

这就是原始和重建的样子:

reconstruction

默认情况下,该算法随机初始化相位,然后迭代前向和逆向 STFT 操作以估计相位。

查看您的代码,要重建信号,您只需要执行以下操作:
import numpy as np

X_inv = librosa.griffinlim(np.abs(X))

这当然只是一个例子。正如@PaulR 所指出的,在您的情况下,您需要从 jpeg 加载数据(这是有损的!)然后将逆变换应用于 amplitude_to_db第一的。

由于人工神经网络的进步,可以进一步改进算法,尤其是相位估计。 Here是一篇讨论一些增强功能的论文。

关于python - 我可以将使用 librosa 生成的频谱图转换回音频吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61132574/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com