ios - 为 iOS VideoToolbox 的不完整 H264 流合成 SPS 和 PPS

Question

我有一台 AXIS IP 摄像机 (M1054)，它通过 RTSP 发送 H264/RTP 流。

不幸的是，他们根本不发送 SPS 和 PPS NALU，他们只传输(分段的)编解码器切片。

我正在尝试使用 iOS VideoToolbox 框架解码该流，该框架需要 H264 SPS 和 PPS 元组才能正确设置 CMFormatDescription。

我想知道如何通过查看实际的 H264 切片来合成必要的参数集？

更新:我捕获了一个示例 session ，其中 mplayer 设法通过 Wireshark 显示流。捕获文件 is here您可以看到整个 RTSP 设置以及几秒钟的 RTP。

Answer 1

RTP 由 3 组流组成。

1. 媒体 RTP
2. 用于控制连接的RTSP
3. 用于发送者确认和时间戳的 RTCP。

虽然 SPS/PPS 通常在流内的带内并通过 RTP 传输 - 它不需要存在(并且可能不应该存在)。 SPS/PPS 作为设置过程 (RTSP) 的一部分进行传输。我通常建议运行 http://www.live555.com/在调试器中了解进程的详细信息 - 但 http://www.live555.com/目前处于关闭状态。

在极少数情况下，您可以从众所周知的受限 H.264 流中重新创建 SPS/PPS。但一般情况下你不能。因此，SPS/PPS 是 H.264 流的元数据，不会冗余存储在其他任何地方。

因此，如果您熟悉设置过程 - RTSP - 它会非常明显。