macos - 将低延迟音频从一个 CoreAudio 设备路由到另一个

Question

首先，一些背景信息:我正在编写一个 MacOS/X 应用程序，它使用 CoreAudio 从 CoreAudio 设备的输入流接收音频信号，对音频进行一些实时处理，然后将其发送回该 CoreAudio 设备的输出流供用户听到。

此应用程序使用较低级别的 CoreAudio API(即 AudioDeviceAddIOProc 、 AudioDeviceStart 等 - 不是 AudioUnits)来获取对用户指定的 CoreAudio 设备的独占访问权限，将其设置为所需的采样率 (96kHz)，然后执行它的东西。它工作得很好，我对它的表现很满意。

但是，我的程序目前有一个限制——它一次只能使用一个 CoreAudio 设备。我想要做的是扩展我的应用程序，以便用户可以彼此独立地选择他的“输入 CoreAudio 设备”和他的“输出 CoreAudio 设备”，而不是被限制为仅使用一个 CoreAudio 设备同时提供输入音频源和输出音频接收器。

我的问题是，这样做的推荐技术是什么？我可以要求两个 CoreAudio 设备都设置为相同的采样率，但即使我这样做了，我想我也必须处理各种问题，例如:

集成独立 AudioDeviceStart() - 来自两个设备的启动回调，我怀疑它们不会以任何明确定义的顺序调用，甚至可能彼此同时调用(？)。我需要以某种方式将音频从一个回调传递到另一个回调，理想情况下不会显着增加音频延迟。

处理两个设备的采样时钟速率的差异。例如。即使两个设备名义上都设置为 96kHz 采样率，我怀疑实际上可能是这种情况，例如上游设备以 95.99999kHz 的频率产生样本，而下游设备以 96.000001kHz 的频率消耗它们(反之亦然)，这最终会导致我最终得到“不够”或“太多”的样本来馈送在给定的渲染回调期间下游设备，导致故障。

我还没有考虑过的任何其他问题

其他 MacOS/X 程序如何处理这些问题？

Answer 1

前段时间我用 C 语言玩了一个概念验证游乐场音频混合器。这一切都没有完成，但确实有效。该库使用可用的最低核心音频 API，因此确实有类似 AudioDeviceCreateIOProcID 之类的东西。和 AudioObjectAddPropertyListener .

简而言之，这个游乐场允许我使用 MacOS 已知的多个音频设备并在它们之间路由一个或多个音频流，同时沿途通过不同类型的“节点”(例如考虑矩阵混合器节点)。

首先回答你的问题
AudioDeviceStart()启动的回调将从不同的(随机)线程触发每个回调。此外，不会以确定的顺序调用回调。我还发现回调之间的差异可能会有很大差异(似乎取决于提供/请求数据的音频设备)。
为了解决这个问题，我使用了无锁(即使用原子计数器)环形缓冲区。

您对不同时钟域的关注是非常真实的。两个以 96KHz 运行的设备将以不同的速度运行。这可能会持续很长时间，但最终其中一个会耗尽数据并开始出现故障。如果外部设备没有在外部同步在一起，例如使用 word 或 ptp，它们将在自己的时域中运行。
要在不同的时域之间传递音频，您必须对音频数据进行异步采样率转换。并且 SRC 需要有可能以非常小的比率进行转换并在此过程中进行调整。其中一个做得很好的是 Soxr .在 Core Audio 的世界中，有一个 VarispeedNode，它可以让你做基本相同的事情。
async-src 解决方案的一大缺点是它引入的延迟，但是也许您可以指定“低延迟”。

在您的情况下，不同音频设备的同步将是最大的挑战。就我而言，我发现不同音频设备的回调差异太大，无法选择一个作为“时钟主控”，因此我最终通过仔细安排处理周期的执行时间来创建一个独立的时域。为此，我使用了低级计时机制，例如 mach_wait_until()和 mach_absolute_time() (关于这方面的文档并不多)。

聚合设备

但是，可能还有另一种解决方案。查看 AudioHardware.h 中的文档从 CoreAudio 框架来看，似乎有一种方法可以使用 AudioHardwareCreateAggregateDevice() 以编程方式创建聚合设备。 .这允许您让 MacOS 处理不同音频设备的同步。另请注意 kAudioAggregateDeviceIsPrivateKey允许您创建聚合设备而无需将其发布到整个系统的 key 。因此，该设备不会出现在音频 MIDI 设置中(我认为)。另请注意，当创建它的进程停止运行时，此键会使聚合消失。它可能是也可能不是您需要的，但这将是使用多个音频设备实现的非常强大的方式。
如果我再次编写软件，我肯定会研究这种同步方式。

其他问题和提示

通常，在处理低延迟音频时，您希望尽可能实现最确定的行为。但我相信你知道这一点。

另一个问题是 Core Audio api 的文档在 Apple 的开发者网站 ( https://developer.apple.com/documentation/coreaudio/core_audio_functions?language=objc ) 上不可用。为此，您必须深入了解 Core Audio 框架的标题，您会在其中找到许多有关使用 API 的有用文档。

在我的机器上，标题位于:/Library/Developer/CommandLineTools/SDKs/MacOSX10.15.sdk/System/Library/Frameworks/CoreAudio.framework/Versions/A/Headers
进一步阅读:

http://atastypixel.com/blog/four-common-mistakes-in-audio-development
http://www.rossbencina.com/code/real-time-audio-programming-101-time-waits-for-nothing
https://developer.apple.com/library/archive/qa/qa1467/_index.html