javascript - 将 PCM 数据附加到 MediaSource

Question

所以我有一个使用 Google 的 Shaka player 的网络应用程序用于视频播放。它使用 MediaSource用于流式传输音频和视频片段的 API。

我想对音轨的原始 PCM 数据进行一些音频处理。我看到它以 .mp4 格式获取音频片段，然后以 ArrayBuffer 的形式将它们附加到 SourceBuffer，然后将其附加到 MediaSource 并播放。有什么方法可以劫持这个流，将数据解码为 PCM，进行一些处理，然后将我处理过的 PCM 通过管道返回到 SourceBuffer？我看到有 AudioContext.decodeAudioData用于从 .mp4 到 PCM 获取片段的 API，但这会返回 AudioBufferSourceNode和 AudioBuffer，它不能附加到我的常规 SourceBuffer。有什么办法可以解决这个问题吗？

我认为我可以将我的 PCM 数据重新编码回 .mp4，但这似乎是一种巨大的浪费。

Answer 1

在 Chrome 64 中你可以定义你自己的 AudioWorkletProcessor , 并将其用于 AudioWorkletNode实例化。

参见 AudioWorklet Examples以供进一步引用。