android - 如何将 Android MediaCodec Surface 连接到 Vulkan

Question

我对使用 Android MediaCodec 进行解码以及通过 Surface 将 YUV 馈送到 OpenGL 纹理有很好的理解。我想用 Vulkan 做一些类似的事情。但是，我没有成功找到任何文档或示例代码。

我的问题是:如何连接以下管道？

MediaCodec Video Decoder ⇨ Surface ⇨ texture ⇨ Vulkan

详情

• 视频解码器使用 MediaCodec#configure 配置
• Surface 是一个 Android Surface(link to API，link to arch.)

OpenGL 比较

为了比较，在 OpenGL 的情况下，Android Surface 是这样构造和使用的

 textureId = glGenTextures( &textureId )
 surface = new Surface( new SurfaceTexture( textureId ) )
 mediaCodec.configure( surface )

Answer 1

目前这是不可能的，因为无法从 Vulkan 外部或任何可以导出 Surface 的 SDK Vulkan 对象导入内存对象。看看VK_KHX_external_memory以及相关的扩展，以了解其中的某些部分在未来可能如何运作。

EDIT 2018-05-23:现在可以使用 VK_ANDROID_external_memory_android_hardware_buffer扩展及其依赖的扩展。您可以使用 AImageReader_newWithUsage() 创建与 GPU 采样兼容的 AImageReader。从 AImageReader 获取 ANativeWindow 并将其用作 AMediaCodec 的输出表面。然后，对于您收到的每个图像，获取 AHardwareBuffer 并使用扩展将其导入到 VkDeviceMemory/VkImage 对中。