audio - 实时 MIDI 输入和音频同步

Question

我已经构建了一个项目的独立应用程序版本，直到现在它只是一个 VST/audiounit。我通过 rtaudio 提供音频支持.

我想使用 rtmidi 添加 MIDI 支持但我不清楚如何同步音频和 MIDI 部分。

在 VST/audiounit 领域，我习惯于 MIDI 事件，这些事件有一个时间戳，表明它们从音频块开始的样本中的偏移量。

rtmidi 提供了自上一个事件以来以秒为单位的增量时间，但我不确定我应该如何获取这些事件以及如何计算与音频线程中当前样本相关的时间。

插件主机如何做到这一点？

我可以理解事件如何在回放时采样准确，但不清楚在使用实时输入时它们如何采样准确。

rtaudio 给了我一个回调函数。我将以低块大小(32 个样本)运行。我想我会传递一个指向 rtmidi 实例的指针作为回调的 userdata 部分，然后调用 midiin->getMessage( &message );在音频回调中，但我不确定这是否是线程敏感的。

非常感谢您可以给我的任何提示

Answer 1

在您的情况下，您无需担心。您的程序应在 MIDI 事件到达后立即将时间戳为零的插件发送到插件。我认为您可能误解了“样本准确”背后的想法。

正如@Brad 在对您的问题的评论中指出的那样，MIDI 确实很慢。但这只是问题的一部分……当您在基于块的环境中工作时，在块开始之前，插件无法处理传入的 MIDI 事件。当计算机速度较慢且块大小为 512(或上帝保佑，> 1024)很常见时，这会引入大量的延迟，导致排列听起来不“紧”。因此，音序器想出了一个巧妙的方法来解决这个问题。由于 MIDI 事件提前已知，这些事件可以提前一个块发送到乐器，并在样本帧中偏移。然后插件在块的开始接收这些事件，并且知道在 N 之前不会开始实际处理它们。 sample 已通过。这就是音序器中“样本准确”的含义。

但是，如果您正在处理来自键盘或某种其他 MIDI 设备的实时输入，则无法“安排”这些事件。事实上，当您收到它们时，时钟已经在滴答作响!因此，这些事件应该在下一个块的开始处发送到插件，偏移量为 0。 诸如 Ableton Live 之类的序列器允许插件同时接收预排序和实时事件，只需发送任何实时事件偏移量为 0 帧。

由于您使用的是非常小的块大小，因此最坏的情况是 0.7 毫秒的延迟，这还算不错。在 rtmidi 的情况下，时间戳不代表您需要安排的偏移量，而是捕获事件的时间。但是由于您只想接收实时事件(您不是在编写音序器，是吗？)，您可以直接将任何传入的 MIDI 传递给插件。