android - OpenSL es- 操作音频缓冲区队列

Question

我是 opensl es 的新手。我目前正在试验 opensl es for android 的录制和播放功能。现在我有一个记录功能，可以将数据存储在缓冲区队列中。然后我可以播放缓冲区队列。谁能解释我如何正确操作缓冲区队列中的数据？所以播放的声音和录音的不一样。

我当前的配置:

sampleFormat.pcmFormat_ = static_cast<uint16_t>(engine.bitsPerSample_);
//the buffer
uint8_t *buf_;

在操作缓冲区中的数据之前，我需要对其进行任何类型的转换或解码吗？

我非常感谢您的帮助。

Answer 1

你的问题很宽泛，我能做的就是告诉你应该如何使用它，以及如何操作从录音中获得的音频数据。

1) 一旦正确设置了 OpenSL_ES 引擎、录音机和播放器(那里有很多示例)，您就为 OpenSL_ES 提供了一个缓冲区，用于从麦克风读取 pcm 数据，还有一个缓冲区用于从您希望为播放接收器提供的数据中读取数据，以及在完成后调用的 2 个回调函数，一旦读取数据的过程完成(根据您的设置，如采样率、缓冲区大小、等)，从 OpenSL_ES 创建的线程调用记录回调，根据设备和配置可能是高优先级线程，通常称为快速 channel (因此您不是在回调中处理线程，而是在 OpenSL_ES 的线程中并且必须小心不要在那里进行阻塞操作)。现在，如果您想要尽可能快地播放音频，请从回调内部处理音频信号，如果响应时间对您来说不太重要，您可以使用回调作为线程开始读取处理音频的信号缓冲区中的数据，如你所愿。在这两种情况下，要播放音频，您必须为播放过程排队数据(已处理或未处理)(播放完成后还会调用播放器回调)。

2) 现在，如果你想处理音频，你需要应用过滤器，有很多种音频信号过滤器可以应用，你应该寻找动态过滤器，以防真正时间回放。 (一些过滤器需要大量数据才能开始处理，并且实时性可能不好，其他一些过滤器经过优化以使用小块数据并动态调整输出)。因此，您需要按特定顺序制作一系列过滤器以获得您想要的东西。音频世界是巨大的，您需要大量阅读才能开始理解音频处理。音频性能是另一回事，它直接取决于您拥有的设备(硬、软)。

3) 对您获得的缓冲区的数据操作取决于您的处理器。例如字节序，一些处理器可能使用小字节序或大字节序，你得到的数据是大字节序格式。没有压缩，因此 pcm 数据已准备好进行处理。 (如果你想从中创建一个 wav 你只需要添加一个 wave 头并在头的数据 block 中添加 pcm 数据，如果你想要其他格式如 mp3 你还需要根据压缩算法处理你的数据为您想要的格式并将该数据添加到正确的标题中)

另外通过OpenSL_ES播放数据需要未压缩的音频数据，所以不能直接播放mp3，需要先解压成pcm数据

这是 OpenSL_ES 的基本功能，希望能回答您的问题。如果有什么不清楚的地方，请告诉我。

PS:Android 表示使用新库 AAudio 现在可以更轻松地进行音频操作，它 promise 可以完成与 OpenSL_ES 相同的任务，而复杂度只有它的三分之一(可能存在一些延迟问题，一些人们遇到过，但我敢打赌他们在你阅读时正在修复)