ffmpeg - 同步视频流+眼动仪

Question

我对流媒体视频有相当多的经验。
我目前正在处理以下任务:
我需要将流媒体视频(目前是 mpeg ts + h264)与从眼动仪接收到的数据同步。
从眼动仪中，我可以在记录数据时获得时间戳。
我的想法是获取视频帧发送到网络的时间，并从眼动仪中获取最接近的记录
是否可以使用 ffmpeg 获取此帧信息？我找到了有关框架的PTS和DTS的信息，但它似乎完全不一样。
我还发现可以从 RTP 协议(protocol)中获取 NTP 时间戳。原来需要从传输协议(protocol)中获取信息？

Answer 1

您尝试做的类似于 RTCP 中的口型同步。
当接收到 RTCP SR 记录时，SR 数据用于使用 NTP 时间戳更新时间同步信息。
当您获得眼动仪样本时，您可以使用传入的时间戳并计算更新的实时时间戳。
当然，我假设眼动仪样本必须提供 RTCP SR 记录或足够类似的东西。