objective-c - 如何直接更新像素 - 使用 CGImage 和直接 CGDataProvider

Question

实际问题

几个答案将解决我的问题:

我可以强制一个 CGImage从直接数据提供程序(使用 CGDataProviderCreateDirect 创建)重新加载其数据，例如 CGContextDrawImage做？或者有没有其他方法可以设置 self.layer.contents 来做到这一点？

有没有CGContext配置或技巧我可以用来渲染 1024x768 图像至少 30 fps 与 CGContextDrawImage 一致.

有没有人成功使用过CVOpenGLESTextureCacheCreateTextureFromImage使用自己的纹理数据进行实时缓冲区更新？我认为我最大的问题是创建一个 CVImageBuffer因为我从 Apples 的纹理文档中复制了其他属性。如果有人对此有更多信息，那就太棒了。

关于如何以 30 fps 的速度将图像从内存中获取到屏幕上的任何其他指南。

背景(拍品):

我正在做一个项目，我需要实时修改 NPOT 图像数据的像素(最低 30 fps)并将其绘制在 iOS 的屏幕上。

我的第一个想法是将 OpenGL 与 glTexSubimage2D 一起使用更新，不幸的是，随着驱动程序调整并将我的 RGB 数据每帧转换为 BGR，结果真​​的很慢(iPad 上为 6 fps)。所以在你说的 BGR 中发送它，我也是，但由于某种原因你不能调用 glTexSubImage2D与 GL_BGR去搞清楚。我知道有些缓慢是因为它不是 2 个图像数据的幂，但我的要求决定了这一点。

更多阅读让我找到了 CVOpenGLESTextureCacheCreateTextureFromImage但所有的例子都是使用直接相机输入来获得 CVImageBufferRef我尝试使用文档(没有官方但只是标题注释)使我自己的 CVImageBuffer 形成我的图像数据，但它无法使用它(没有错误只是调试器中的空纹理)，这让我认为 Apple 专门构建了这个处理实时相机数据，除了 IDK 之外，它还没有在该领域之外进行过太多测试。

无论如何，在放弃 OpenGL 并把我的想法转向 CoreGraphics 放弃了我的尊严之后，我被带到了这个问题 fastest way to draw a screen buffer on the iphone
建议使用 CGImage由 CGDataProviderCreateDirect 支持，它允许你在 CGImage 需要时返回一个指向图像数据的指针，很棒吧？好吧，它似乎并不像宣传的那样有效。如果我使用 CGContextDrawImage然后一切正常。我可以修改像素缓冲区，每次绘制时，它都会像它应该的那样从我的数据提供者那里请求图像数据，调用 CGDataProviderDirectCallbacks 中的方法( Note: 他们似乎有一个内置的优化，如果更新的指针与之前的地址相同，则会忽略更新的指针)。 CGContextDrawImage 并不是超快(大约 18 fps)，即使禁用了从 6 fps 提高的插值。 Apple 的文档告诉我使用 self.layer.contents会比 CGContextDrawImage快得多.使用 self.layer.contents适用于第一个任务，但 CGImage永远不会像 CGContextDrawImage 那样从数据提供者请求重新加载确实如此，即使我调用 [layer setNeedsDisplay] .在我引用的 SO 问题中，用户通过每帧从数据源创建和销毁一个新的 CGImage 来展示他对问题的解决方案，这是一个非常缓慢的过程(是的，我确实尝试过)，所以是时候提出真正的问题了。

备注 : 我已经分析了所有这些操作并且知道问题确实是 glTexSubImage用于 OpenGL 和 CGContextDrawImage确实是 CoreGraphics 的问题，所以没有“go profile”答案。

编辑 现在可以在 http://github.com/narpas/image-sequence-streaming 上找到演示此技术的源代码。

Answer 1

感谢 Brad Larson 和 David H 帮助解决这个问题(请参阅我们在评论中的完整讨论)。结果是使用 OpenGL 和 CoreVideo 与 CVOpenGLESTextureCache最终成为将原始图像推送到屏幕的最快方式(我知道 CoreGraphics 不可能是最快的!)，在 iPad 1 上为我提供 60 fps 的全屏 1024x768 图像。现在关于此的文档很少，所以我会尝试并尽可能多地解释以帮助人们:
CVOpenGLESTextureCacheCreateTextureFromImage允许您创建一个 OpenGL 纹理，该纹理将内存直接映射到 CVImageBuffer你用来创建它。这允许您创建一个 CVPixelBuffer使用原始数据并修改从 CVPixelBufferGetBaseAddress 收集的数据指针.这为您提供 OpenGL 中的即时结果，无需修改或重新上传实际纹理。请务必使用 CVPixelBufferLockBaseAddress 锁定在修改像素之前，完成后解锁。请注意，目前这在 iOS 模拟器中不起作用，仅适用于我推测来自 VRAM/RAM 部门的设备，其中 CPU 无法直接访问 VRAM。 Brad 建议使用条件编译器检查在原始 glTexImage2D 之间切换更新和使用纹理缓存。

需要注意的几件事(这些的组合导致它对我不起作用):

在设备上测试

确保您CVPixelBuffer支持 kCVPixelBufferIOSurfacePropertiesKey见 link例如(再次感谢布拉德)。

您必须使用 GL_CLAMP_TO_EDGE用于使用 OpenGL ES 2.0 的 NPOT 纹理数据

使用 glBindTexture(CVOpenGLESTextureGetTarget(_cvTexture), CVOpenGLESTextureGetName(_cvTexture)); 绑定(bind)纹理缓存不要像我一样愚蠢并使用CVOpenGLESTextureGetTarget对于这两个参数。

不要每帧都重新创建纹理，只需将图像数据复制到从 CVPixelBufferGetBaseAddress 获得的指针中即可更新纹理。