ios - 如何即时操作纹理内容？

Question

我有一个正在开发的 iPad 应用程序，我们正在考虑的一个可能功能是允许用户触摸图像并使其变形。

基本上图像就像一幅画，当用户在图像上拖动手指时，图像会变形，触摸的像素会沿着图像“拖动”。抱歉，如果这很难理解，但最重要的是，我们希望在用户与之交互时即时编辑纹理的内容。

对于这样的事情有有效的技术吗？我正在尝试了解需要完成的操作以及操作的繁重程度。

现在我唯一能想到的就是根据触摸的位置搜索纹理的内容并复制像素数据，并在手指移动时对现有像素数据进行某种混合。然后定期使用 glTexImage2D 重新加载纹理以获得此效果。

Answer 1

至少有两种根本不同的方法:

<强>1。更新像素(我假设这就是你在问题中的意思)

更改纹理中像素的最有效技术称为渲染到纹理，可以通过 FBOs 在 OpenGL/OpenGL ES 中完成。 .在桌面 OpenGL 上，您可以使用像素缓冲区对象 (PBOs) 直接在 GPU 上操作像素数据(但 OpenGL ES 尚不支持此功能)。

在未扩展的 OpenGL 上，您可以更改系统内存中的像素，然后使用 glTexImage2D/glTexSubImage2D 更新纹理 - 但这是低效的最后手段解决方案，应尽可能避免。 glTexSubImage2D 通常要快得多，因为它只更新现有纹理内的像素，而 glTexImage2D 创建全新的纹理(作为一个好处，您可以更改纹理的大小和像素格式)。另一方面，glTexSubImage2D 允许只更新部分纹理。

你说你希望它与 OpenGL ES 一起工作，所以我建议执行以下步骤:

• 将 glTexImage2D() 替换为 glTexSubImage2D() - 如果您获得了足够的性能，就这样吧；
• 使用 FBO 和着色器实现渲染到纹理 - 它需要重写代码的工作要多得多，但会提供更好的表现。

对于 FBO，代码可能如下所示:

// setup FBO
glGenFramebuffers( 1, &FFrameBuffer );
glBindFramebuffer( GL_FRAMEBUFFER, FFrameBuffer );
glFramebufferTexture2D( GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, YourTextureID, 0 );
glBindFramebuffer( GL_FRAMEBUFFER, 0 );

// render to FBO
glBindFramebuffer( GL_FRAMEBUFFER, FFrameBuffer );
glViewport( 0, 0, YourTextureWidth, YourTextureHeight );
your rendering code goes here - it will draw directly into the texture
glBindFramebuffer( GL_FRAMEBUFFER, 0 );

// cleanup
glBindFramebuffer( GL_FRAMEBUFFER, 0 );
glDeleteFramebuffers( 1, &FFrameBuffer );

请记住，并非所有像素格式都可以渲染。 RGB/RGBA 通常都可以。

<强>2。更新几何体

您还可以更改纹理映射到的对象的几何形状。几何体应该足够细化以允许流畅的交互并防止出现伪影。几何体的变形可以通过不同的方法完成:参数化曲面、NURBS、面片。