ios - 访问视频 Assets 中音轨的原始数据进行实时处理

Question

我正在尝试实时截取基于文件的视频 Assets 的音频流，以便将一些实时效果应用于音轨并在视频播放时将其与其他音频源混合。

理想情况下，能够获取 AVPlayer 对象的音轨，将其作为可单独寻址的输入插入音频图，通过具有合适的音频单元的回调对其进行处理，然后重新注入(inject)它会很棒实时传送到音频输出，但我找不到一种简单的方法来做到这一点，同时保持原始视频 Assets 的完整性。我一直无法找到如何访问 AVPlayer 的音频缓冲区以便将其原始数据转发到声音处理回调。

在我看来，唯一合适的方法是将音频和视频轨道作为单独的文件处理，然后使用 AVPlayer 处理视频轨道(去除声音)并让所有音频运行通过并行运行的单独 Core Audio 处理路径，但恐怕这种方法会使 A-V 同步具有挑战性，此外还会增加繁琐的离线准备任务。有什么想法或替代方法吗？

Answer 1

我认为 AVAudioPlayer 不具有实时能力，并且无法将此高级框架与最低级别的音频单元(和音频图)直接连接。

我建议在音频图中实现一个文件播放器节点。该播放器节点应播放视频中的音频。但也许新的 AVAudioEngine是个好方法，但这个框架有很多问题，目前没有很好的记录——它的测试版。音频信号实时处理本身就是一个棘手的话题 - 结合视频它真的很难。 :-) 如果您为您的应用程序找到了可行的解决方案，请告诉我。