ios - 清除一些3D OpenGL“魔术”功能

Question

我一直在阅读OpenGL ES 2.0，SpriteKit和GLKit，但是我仍然不知道如何解决以下问题。

问题：

1）创建一个圆柱形的360度空间，该空间容纳一个AVCaptureVideoPreviewLayer，并且随着用户转动他/她的电话而旋转。不要太在意旋转部分，这是我关注的OpenGL部分。像，如何画线？捕获后，如何将图像放置在捕获位置？这里使用什么组件？ SpriteKit还是OpenGL？



2）从根本上讲与（1）有关如何放置图像。假设您有一个四元数，您将如何在3D空间中放置图像？

问题/疑虑：

我什至会如何开始？如果有人可以给我一个简短的摘要，我应该做的事情，我将不胜感激。甚至某些代码示例也将非常有用，因为如果我用代码编写的话，我会更好地理解。

问题在于没有关于它的任何实际文档，因此，如果您有任何参考（甚至是书籍？），我将不胜感激。

谢谢！

Answer 1

我会尝试从最简单到最困难的答案，也许会为您指明方向。


glDrawElements具有一个mode参数，您可以将其分隔为GL_LINE_STRIP, GL_LINE_LOOP, GL_LINES，等等。。。在OpenGL中绘制时，您要尝试尽量减少执行的绘制调用的次数，因此一旦设置了绘制状态，就提交尽可能多的您可以一次调用一次几何图形。基本上，一次调用即可绘制整个圆柱线。幸运的是，您只需要计算一次就可以用矩阵处理旋转。
接下来，您将需要学习矩阵和着色器以绘制几何图形。阅读NeHe教程，我认为它们已针对OpenGLES2更新。基本上，您有一个视图和投影矩阵（MVP）。投影是将3D几何体投影到2d空间中（并从-1..1标准化）。该视图是旋转几何体的位置。我的建议是在Github或Apple Developer文档上找到一个示例并将其修改。另外，寻找OpenGL兼容的矩阵库。
首次开始旋转时，请使用拖动/滑动事件进行测试，以便可以确定要绕哪个轴旋转（y轴）以及向左/向右旋转的方式。然后将其连接到您的运动事件（加速度计）。您的运动事件将记录在视图旋转中，矩阵的每一帧都会发生变化（并且需要重乘并重新上载到着色器）。


（这是开始变得困难的时候，哈哈）


将AVCaptureVideoPreviewLayer（AVLayer）放在EAGLView图层上，使其像示例中一样小。
接下来，您将需要执行光线投射，以使用MVP矩阵找出AVLayer与圆柱体相交的位置。好吧，实际上它稍微复杂一点，您必须将相机图像取消投影到“视图”空间中，然后将其映射到圆柱体的纹理上。


让我重新开始。

如果要画一条从观察摄像机朝向AVLayer的线，它将与圆柱体在不同点相交。在此相交处可以将图像缝合到圆柱上。您知道圆柱的几何形状（或方程式），也知道视图的旋转。您知道AVLayer和投影矩阵的大小和位置。

问题是这很慢。因此，也许您认为您可以避免从圆柱体向后投影到摄像机，以将圆柱体的UV坐标与AVLayer的交点进行投影。但是，这会导致投影问题，并且图像看起来会歪斜和怪异地伸展。因为您正在线性插值非线性投影。

您的下一个想法是尝试慢速方式并将每个像素投射到圆柱体的纹理。这看起来更好，但现在有漏洞。

最后，您意识到要结合这两种方法，并从圆柱体的纹理向后投影到视图并“读取” AVLayer的交集。另外，由于要写入纹理，因此决定使用RTT，让GPU进行繁重的工作（快得多）。现在，AVLayer只是要渲染为圆柱体纹理的纹理。

坏消息是，虽然您可以在片段着色器中使用一个投影矩阵来将平面AVLayer投影到圆柱壁上，但我不知道这是什么。另外，您可能需要为横穿接缝的任何纹理渲染两次。

圆柱具有渲染到的透明纹理。只需根据“最终”图像的分辨率将U，V坐标添加到圆柱体即可。绘制圆柱体两次，一次使用纹理（如四边形），然后再次（如线）。

在NeHe教程中查找FBO渲染目标（RTT）。

同样，可以在不使用OpenGL的情况下渲染到圆柱体的纹理，但是您需要在单独的线程中进行渲染，然后重新上传圆柱体的纹理。这将允许您使用数学来投影纹理并自己扫描。您可以使用模数运算符自动包装扫描线，而不必担心重复两次。

免责声明：这将使我无法满足您的要求。我个人将在github上寻找一个全景应用程序，并可能开始在该处进行黑客攻击以添加其他内容（例如圆柱体）。青年汽车