swift - 将纯 Metal-API 与 SceneKit 或 SpriteKit 一起使用

Question

我有一个 SKView 和一个 MTKView 在一个应用程序中运行，到目前为止一切正常。

唯一的问题是，这两个 View 在视觉上的整合很差。他们只是肩并肩。但我想让 SKView 内的纯 Metal 渲染与内部的一些 SKNode 一起移动。是SKView内部的一种快速显示。

在 Metal 方面运行相当多的计算和渲染的东西。 SKView 应该为繁重的计算和纯 Metal 部件的最小但非常快速的渲染提供一个很好的用户界面。

我已经考虑过将 SceneKit 与 SpriteKit 场景叠加使用，因为 SCNRenderer 提供了使用 renderAtTime 渲染自己的 MTLCommandBuffer 和 MTLRenderPassDescriptor 的可能性。

我实现了以下 SCNSceneRendererDelegate 方法并调用了我自己的渲染函数，它正在准备 commandBuffer。

func renderer(renderer: SCNSceneRenderer, didRenderScene scene: SCNScene, atTime time: NSTimeInterval) {
    nodeArray.render()
}

commandBuffer 准备就绪后，我调用 SCNRenderer 的 renderAtTime 方法。反复试验告诉我命令缓冲区必须在调用 renderAtTime 之后提交。如果我之前这样做会使应用程序崩溃。如果我根本不这样做，它会卡住应用程序。

func bufferFinished(renderer:SCNRenderer, commandBuffer: MTLCommandBuffer, renderPassDescriptor: MTLRenderPassDescriptor){
    let current=CFAbsoluteTimeGetCurrent()
    renderer.renderAtTime(current, viewport: gameView.bounds, commandBuffer: commandBuffer, passDescriptor: renderPassDescriptor)
    commandBuffer.commit()
}

如果我这样做，应用程序正在运行，但没有显示额外的 Metal 上下文。我认为由于 Metal 部分，整个事情有点复杂。

是否有任何简单示例可以在 SceneKit View 中或在 SpriteKit View 中更好地呈现纯 Metal ？

Answer 1

Metal 、SpriteKit 和 SceneKit

SpriteKit 和 SceneKit 协同工作。您可以在 SpriteKit 中使用 SceneKit，反之亦然。

在 SpriteKit 中，您可以使用 SK3DNode 来渲染 SceneKit 场景。这是一个示例:https://github.com/CloakedEddy/SK3DNode-example/tree/master/SKSCN%20Crossover

在 SceneKit 中，您可以使用 SCNView 继承的 SCNSceneRenderer 的 overlaySKScene 属性。您可以在那里并排渲染 SpriteKit 场景和 SceneKit 场景。

但是如何整合 Metal 呢？

可以通过纹理将 Metal 与 SpriteKit 结合使用。您在 GPU 上使用 Metal 计算纹理，并通过 modifyPixelDataWithBlock 将图像数据传输到 SKMutableTexture。这是可行的，但你必须复制数据，这不是很好，而且 SpriteKit 在幕后使用 OpenGL 而不是 Metal 。所以它必须创建一个 OpenGL 纹理，如您所见，它非常昂贵。

另一个问题是，如果您使用大型纹理在 CPU 内存中获取它们，则必须同步 GPU 数据。只有这样你才能将数据复制到 SKMutableTexture。这是非常低效的，因为数据将再次进入 GPU，但现在使用 OpenGL。

使用 SceneKit，您可以选择是将 OpenGL 还是 Metal 作为 GPU 的底层框架。并且可以直接用metal修改material属性中的texture。只需设置 SCNMaterialProperty 的内容属性。或者，如果你想改变一个对象的几何形状，你可以直接通过 Metal 修改 SCNGeometrySource。