ios - CMSampleBufferRef 池写入 H.264 AVCC 流

Question

我正在使用 AVAssetWriter/AVAssetWriterInput 将 H.264 原始数据写入 MP4 文件。当我从远程服务器接收数据时，我使用以下 CoreMedia API 获取样本缓冲区 (CMSampleBufferRef)，其中包含 AVCC 格式的 H.264 数据，该数据又通过发送到 AVAssetWriterInput 附加到 MP4 文件消息 (BOOL)appendSampleBuffer:(CMSampleBufferRef)sampleBuffer:

1. CMBlockBufferCreateWithMemoryBlock to create a memory block
2. CMBlockBufferReplaceDataBytes to write the H.264 in AVCC format to the memory block
3. CMSampleBufferCreate to create a sample buffer with the memory block and a format descriptor containing the H.264 "extradata"

一切都按预期工作，这种方法的唯一问题是我定期调用上述 API，而我真正想要的是能够重用分配的资源 - 特别是 CMSampleBufferRef 和 CMBlockBufferRef 。 基本上，我想要一个 CMSampleBuffer 的池，并且能够在我从远程服务器接收新的 H.264 数据时更新其内存内容和格式描述符。

我知道存在 AVAssetWriterInputPixelBufferAdaptor 可以访问 CVPixelBufferPool 但是，我不能在我的情况下使用它，因为据我所知，要正确实例化像素缓冲区适配器，至少我需要能够通过在解析流之前我会知道的视频帧尺寸。此外，我不知道如何用 CVPixelBuffer 编写 H.264“额外数据”。所以，我想我需要坚持使用 CMSampleBuffer 。不幸的是，CoreMedia API 似乎不提供更新内存块的可能性，也不提供样本缓冲区创建后的格式描述符(据我所知，我只能访问这些对象的不可变引用)。因此，到目前为止，我能做的最好的事情就是重用内存块 CMBlockBufferRef，但我仍在重新创建样本缓冲区。我的代码如下。希望这里有人对如何实现 CMSampleBuffer 的池或将 H.264 AVCC 流写入 MP4 的更有效方法有一些想法？

- (CMSampleBufferRef)sampleBufferWithData:(NSData*)data formatDescriptor:(CMFormatDescriptionRef)formatDescription
{
    OSStatus result;

    CMSampleBufferRef sampleBuffer = NULL;

    // _blockBuffer is a CMBlockBufferRef instance variable
    if (!_blockBuffer)
    {
        size_t blockLength = MAX_LENGTH;
        result = CMBlockBufferCreateWithMemoryBlock(kCFAllocatorDefault,
                                                    NULL,
                                                    blockLength,
                                                    kCFAllocatorDefault,
                                                    NULL,
                                                    0,
                                                    blockLength,
                                                    kCMBlockBufferAssureMemoryNowFlag,
                                                    &_blockBuffer);

        // check error
    }

    result = CMBlockBufferReplaceDataBytes([data bytes], _blockBuffer, 0, [data length]);

    // check error

    const size_t sampleSizes = [data length];

    CMSampleTimingInfo timing = [self sampleTimingInfo];

    result = CMSampleBufferCreate(kCFAllocatorDefault,
                                  _blockBuffer,
                                  YES,
                                  NULL,
                                  NULL,
                                  formatDescription,
                                  1,
                                  1,
                                  &timing,
                                  1,
                                  &sampleSizes,
                                  &sampleBuffer);

    // check error

    return sampleBuffer;
}

Answer 1

如果您接收的是原始 H.264 数据，那么根本不需要处理 CoreMedia。

缓冲所有 VCL NAL 单元，直到获得 SPS/PPS NAL 单元。从中创建额外数据，然后将所有缓冲的和新的 VCL NAL 单元附加到文件中。如果您收到附件 B 格式的 NAL 单元，您需要将它们转换为 AVCC 格式(基本上用长度代码替换起始代码)

如果你想解码未压缩的图片或者如果你想解码压缩的图片，你只需要使用'CMSampleBuffer'。因为您已经在处理原始 H.264 流并且只想将其写入 MP4 文件，所以就这样做吧。在这里根本不需要接触 CoreMedia。

关于 CoreMedia:您将视频信息包装在 CMBlockBuffer 中。此缓冲区与 CMVideoFormatDescriptor(从 SPS/PPS 生成)加上 CMTime 组成 CMSampleBuffer。多个 CMSampleBuffers 组成一个“CMSampleBufferPool”。

'CVPixelBuffer' 和 'CVPixelBufferPool' 不涉及。在处理编码/解码 h.264 视频时，这些是“VTCompressionSession”或“VTDecompressionSession”的输入或输出。

如您所说，根本不需要触及任何核心框架，因为您只是在创建一个文件。

有关附件 B 和 AVCC 流格式的概述可在此处找到:Possible Locations for Sequence/Picture Parameter Set(s) for H.264 Stream