ios - 将来自 VTCompressionSession 的压缩帧与音频数据混合到 MPEG2-TS 容器中以进行网络流式传输

Question

我正在从事一个项目，该项目涉及从 iOS8 中的 VTCompressionSession 抓取 H.264 编码帧，将它们与来自麦克风的实时 AAC 或 PCM 音频混合到可播放的 MPEG2-TS 中，并通过套接字实时流式传输最小延迟(即:(几乎)没有缓冲)。

在观看了 iOS8 中新的 VideoToolbox 的演示并做了一些研究之后，我想可以安全地假设:

• 您从 VTCompressionSession 获得的编码帧不是 Annex B 格式，所以我需要以某种方式转换它们(到目前为止我看到的所有解释都太模糊，所以我不太确定你如何做到这一点(即:用长度 header 替换“3 或 4 字节 header ”)。

• 您从 VTCompressionSession 获得的编码帧实际上是基本流。因此，首先我需要将它们转换为打包的基本流，然后才能进行多路复用。

• 我还需要来自麦克风数据的 AAC 或 PCM 基本流(我认为 PCM 会更容易，因为不涉及编码)。我也不知道该怎么做。

• 为了多路复用打包基本流，我还需要一些库，例如 libmpegts。或者可能是 ffmpeg(通过使用 libavcodec 和 libavformat 库)。

我对这个很陌生。我能否获得一些关于实现此目标的正确方法的建议？

是否有更简单的方法使用 Apple API(如 AVFoundation)来实现这一点？

有没有类似的项目可以引用？

提前致谢!

Answer 1

In order to mux the Packetized Elementary Streams I would also need some library like libmpegts. Or perhaps ffmpeg (by using libavcodec and libavformat libraries).

据我所知，无法将 TS 与 AVFoundation 或相关框架混合使用。虽然这似乎可以手动完成，但我正在尝试使用 Bento4 library完成与您相同的任务。我猜 libmpegts、ffmpeg、GPAC、libav 或任何其他类似的库也可以，但我不喜欢它们的 API。

基本上，我关注 Mp42Ts.cpp ，忽略Mp4部分，只看Ts写作部分。

这StackOverflow question具有如何提供视频的所有概述，以及如何提供音频的实现。如果您有任何问题，请向我提出更具体的问题。

不过，我希望这能为您提供一个良好的起点。

I would also need an AAC or PCM elementary stream from the microphone data (I presume PCM would be easier since no encoding is involved). Which I don't know how to do either.

获取 AAC 格式的麦克风数据非常简单。像这样:

AVCaptureDevice *microphone = [AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeAudio];
_audioInput = [AVCaptureDeviceInput deviceInputWithDevice:microphone error:&error];

if (_audioInput == nil) {
    NSLog(@"Couldn't open microphone %@: %@", microphone, error);
    return NO;
}

_audioProcessingQueue = dispatch_queue_create("audio processing queue", DISPATCH_QUEUE_SERIAL);

_audioOutput = [[AVCaptureAudioDataOutput alloc] init];
[_audioOutput setSampleBufferDelegate:self queue:_audioProcessingQueue];


NSDictionary *audioOutputSettings = @{
    AVFormatIDKey: @(kAudioFormatMPEG4AAC),
    AVNumberOfChannelsKey: @(1),
    AVSampleRateKey: @(44100.),
    AVEncoderBitRateKey: @(64000),
};

_audioWriterInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeAudio outputSettings:audioOutputSettings];
_audioWriterInput.expectsMediaDataInRealTime = YES;
if(![_writer canAddInput:_audioWriterInput]) {
    NSLog(@"Couldn't add audio input to writer");
    return NO;
}
[_writer addInput:_audioWriterInput];

[_captureSession addInput:_audioInput];
[_captureSession addOutput:_audioOutput];

- (void)audioCapture:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection
{
    /// sampleBuffer contains encoded aac samples.
}

我猜你已经在为你的相机使用 AVCaptureSession 了；您可以对麦克风使用相同的捕获 session 。