python - 如何使用 matplotlib 绘制 pyaudio 输入？

Question

如何绘制来自麦克风的 matplotlib 输入信号？我尝试使用 plt.plot(frames) 进行绘图，但由于某种原因，frames 是一个字符串？

a) 为什么框架变量是字符串列表？

b) 为什么数据变量是字符串列表？

c) 它们应该代表单个样本的能量/幅度并且是整数吗？

d) 当我指定 block 大小为 1024 时，为什么数据长度为 2048？

(我猜是因为我使用 paInt16，但仍然看不出为什么它不能是 1024)

我有以下用于麦克风输入的代码:

import pyaudio
import audioop
import matplotlib.pyplot as plt
import numpy as np
from itertools import izip
import wave


FORMAT = pyaudio.paInt16                # We use 16bit format per sample
CHANNELS = 1
RATE = 44100
CHUNK = 1024                            # 1024bytes of data red from a buffer
RECORD_SECONDS = 3
WAVE_OUTPUT_FILENAME = "file.wav"

audio = pyaudio.PyAudio()

# start Recording
stream = audio.open(format=FORMAT,
                    channels=CHANNELS,
                    rate=RATE, input=True,
                    frames_per_buffer=CHUNK)

frames = []
for i in range(0, int(RATE / CHUNK * RECORD_SECONDS)):
    data = stream.read(CHUNK)
    frames.append(data)
frames = ''.join(frames)

stream.stop_stream()
stream.close()
audio.terminate()

Answer 1

a) Why is frames variable a string list?

由于 b)，这就是您在代码中构建它的方式。

b) Why is data variable string list?

它是一个字节字符串，即原始字节序列。这就是read()返回。

c) Should they represent energy/amplitude of single sample and be integers?

他们是。它们只是打包在字节序列中，而不是 Python 整数中。

d) Why is length of data 2048 when I specified I want chunk size of 1024?

1024 是帧数。每个帧的长度为 2 个字节，因此您将获得 2048 个字节。

How can I plot on matplotlib input signal from microphone? I have tried to plot with plt.plot(frames) but frames is for some reason a string?

取决于你想要绘制什么。通过将字节字符串转换为 numpy 数组即可获得原始幅度:

fig = plt.figure()
s = fig.add_subplot(111)
amplitude = numpy.fromstring(frames, numpy.int16)
s.plot(amplitude)
fig.savefig('t.png')

更有用的图是 spectrogram :

fig = plt.figure()
s = fig.add_subplot(111)
amplitude = numpy.fromstring(frames, numpy.int16)
s.specgram(amplitude)
fig.savefig('t.png')

但是现在您已经有了一个 numpy 数组，您可以随意修改幅度。