gpt4 book ai didi

javascript - Node JS : Capturing a stereo PCM wave stream into mono AudioBuffer

转载 作者:行者123 更新时间:2023-12-03 01:18:43 25 4
gpt4 key购买 nike

我正在使用 node-microphone 从 nodejs 录制音频(这只是一个用于 arecord 的 javascript 接口(interface)),并且想要将流 block 存储在 AudioBuffer 中使用 web-audio-api (这是 Web Audio API 的 nodejs 实现)。

我的音频源有两个 channel ,而我的 AudioBuffer只有一个(故意)。

这是我通过 USB 声卡使用 arecord 录制音频的工作配置(我使用的是在 Raspbian buster 上运行的 Raspberry pi 3):

arecord -D hw:1,0 -c 2 -f S16_LE -r 44100

使用输出路径运行此命令并使用 aplay 播放生成的 wav 文件就可以了。所以 node-microphone 能够使用这些参数录制音频,最后我得到一个 nodejs 可读流流动波形数据。

但是

我正在努力做从流 block ( Buffer 实例)到 AudioBuffer 的桥接。 .更确切地说;我不确定传入数据的格式,不确定目标格式,也不确定如何进行转换:

流 block 是 Buffer s 所以他们也是 Uint8Array s。关于我的配置,我猜它们是 16 位有符号整数的二进制表示(小端,我不知道这是什么意思)。
AudioBuffer拥有多个缓冲区(每个 channel 一个,所以在我的情况下只有一个),我可以作为 Float32Array 访问调用 AudioBuffer.prototype.getChannelData() . MDN还说:

The buffer contains data in the following format: non-interleaved IEEE754 32-bit linear PCM with a nominal range between -1 and +1, that is, 32bits floating point buffer, with each samples between -1.0 and 1.0.



关键是要找到我必须从传入的 Buffer 中提取的内容。 s 以及我应该如何转换它以使其适合 Float32Array目的地(并且保持有效的波形数据),知道音频源是立体声, AudioBuffer不是。

到目前为止,我最好的竞争者是 Buffer.prototype.readFloatLE()名称看起来可以解决我的问题的方法,但这并不成功(只是噪音)。

我的第一次尝试(在进行研究之前)只是天真地将缓冲区数据复制到 Float32Array和交错索引来处理立体声/单声道转换。显然它主要产生噪音,但我可以听到我录制的一些声音(令人难以置信的失真但肯定存在)所以我想我应该提到这一点。

这是我天真的尝试的简化版本(我知道这并不意味着效果很好,我只是将它包含在我的问题中作为讨论的基础):

import { AudioBuffer } from 'web-audio-api'
import Microphone from 'node-microphone'

const rate = 44100
const channels = 2 // Number of source channels

const microphone = new Microphone({ // These parameters result to the arecord command above
channels,
rate,
device: 'hw:1,0',
bitwidth: 16,
endian: 'little',
encoding: 'signed-integer'
})

const audioBuffer = new AudioBuffer(
1, // 1 channel
30 * rate, // 30 seconds buffer
rate
})

const chunks = []
const data = audioBuffer.getChannelData(0) // This is the Float32Array
const stream = microphone.startRecording()

setTimeout(() => microphone.stopRecording(), 5000) // Recording for 5 seconds

stream.on('data', chunk => chunks.push(chunk))

stream.on('close', () => {
chunks.reduce((offset, chunk) => {
for (var index = 0; index < chunk.length; index += channels) {
let value = 0

for (var channel = 0; channel < channels; channel++) {
value += chunk[index + channel]
}

data[(offset + index) / channels] = value / channels // Average value from the two channels
}

return offset + chunk.length // Since data comes as chunks, this offsets AudioBuffer's index
}, 0)
})

如果您能提供帮助,我将不胜感激:)

最佳答案

因此输入立体声信号以 16 位有符号整数的形式出现,左右声道交错,这意味着相应的缓冲区(8 位无符号整数)对于单个立体声样本具有以下格式:

[LEFT ] 8 bits (LSB)
[LEFT ] 8 bits (MSB)
[RIGHT] 8 bits (LSB)
[RIGHT] 8 bits (MSB)

由于 arecord 配置为 little endian 格式,因此最低有效字节 (LSB) 位于第一位,最高有效字节 (MSB) 紧随其后。
AudioBuffer单 channel 缓冲区,由 Float32Array 表示, 期望值在 -1 之间和 1 (每个样本一个值)。

所以从输入 Buffer 映射值到目的地 Float32Array ,我不得不使用 Buffer.prototype.readInt16LE(offset)增加字节的方法 offset每个样本 4 个参数(2 个左字节 + 2 个右字节 = 4 个字节),并从 [-32768;+32768] 范围内插入输入值(16 位有符号整数范围)到范围 [-1;+1] :

import { AudioBuffer } from 'web-audio-api'
import Microphone from 'node-microphone'

const rate = 44100
const channels = 2 // 2 input channels

const microphone = new Microphone({
channels,
rate,
device: 'hw:1,0',
bitwidth: 16,
endian: 'little',
encoding: 'signed-integer'
})

const audioBuffer = new AudioBuffer(
1, // 1 channel
30 * rate, // 30 seconds buffer
rate
})

const chunks = []
const data = audioBuffer.getChannelData(0)
const stream = microphone.startRecording()

setTimeout(() => microphone.stopRecording(), 5000) // Recording for 5 seconds

stream.on('data', chunk => chunks.push(chunk))

stream.on('close', () => {
chunks.reduce((offset, chunk) => {
for (var index = 0; index < chunk.length; index += channels + 2) {
let value = 0

for (var channel = 0; channel < channels; channel++) {
// Iterates through input channels and adds the values
// of all the channel so we can compute the
// average value later to reduce them into a mono signal

// Multiplies the channel index by 2 because
// there are 2 bytes per channel sample

value += chunk.readInt16LE(index + channel * 2)
}

// Interpolates index according to the number of input channels
// (also divides it by 2 because there are 2 bytes per channel sample)
// and computes average value as well as the interpolation
// from range [-32768;+32768] to range [-1;+1]
data[(offset + index) / channels / 2] = value / channels / 32768
}

return offset + chunk.length
}, 0)
})

关于javascript - Node JS : Capturing a stereo PCM wave stream into mono AudioBuffer,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61777531/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com