iphone - 如何从 iOS 上的实时视频中获取每帧的 RGB 值？

Question

我正在使用 iPhone 开发一个应用程序。我想从实时视频的每一帧中获取数值 RGB 值。可以吗？如果是这样，请告诉我。更欣赏一些示例代码。非常感谢您。

Answer 1

我只能假设您的意思是解码 h.264 视频，然后从中获取 RGB(A) 像素值。在这种情况下，您需要使用 AVAssetReaderOutput 类打开并解码附加到 Xcode 项目的 h.264 Assets 中的帧。如果您不熟悉软件中的视频处理，请小心并确保在开始之前真正了解您在做什么，因为视频处理中的内存使用令人震惊，如果您不完全了解有多少内存，您的 iOS 应用程序可能会崩溃您正在一次分配。请查看我关于此主题的博客文章 video_and_memory_usage_on_ios_devices .您可以在各处找到大量零碎的示例代码，但您基本上只需要创建 Assets 、从中解码帧，然后从解码的 CoreVideo 像素缓冲区中读取 RGBA 像素。小心观察 CoreVideo 像素缓冲区中的行填充和奇数大小导致像素总数与 sizeof(uint32_t) * width * height 不匹配的情况。