Android调整VirtualDisplay的大小

Question

我在使用 Android 的 MediaProjection API 时遇到了一些问题(实际上更多，但这些是更关键的问题)。阅读 graphics architecture不会真正有帮助，所以我只是想了解我是否在代码流中跳过了某些内容。

让我们假设:

1. 我有一个专用的 GL 渲染线程，已初始化，并在其上生成了 GL 纹理。我为纹理设置了 WxH 的默认缓冲区大小。

2. 我使用 GL 纹理创建了一个 SurfaceTexture，并为此表面纹理创建了一个 Surface。

3. 通过 MediaProjection 创建一个尺寸为 WxH 的虚拟显示器，并将其表面设置为上面的表面。

问题 1:一切工作要么完美(全帧正确进入)，要么不正常(所有帧都是黑色；或者每个帧只有一半是可见的 - 所有帧都是相同的一半；或者屏幕的某些部分是黑色的)重复到其他部分，有时甚至倾斜)。

问题 2:虽然时间花在了一些全屏 GL 游戏上，但在固定的时间(大约 4 分钟)之后，所有传入的帧都被卡住(例如，我收到"new"帧，但实际上是一个和同一张图)。使用 glReadPixels 读取确认结果 - 问题是，实际显示远远超过该帧。强制它“恢复”的唯一方法是调出状态栏或导航栏，它们会立即开始向我发送正确的帧。当然，又过了4分钟，又发生了……

问题 3:在对 GL 纹理调用 setDefaultBUfferSize() 之后，在 VirtualDisplay 上调用 resize()，最终在 90% 的情况下会出现问题 #1(黑框/切框，其他屏幕区域的伪影) ...)

我在同一个线程中使用对 updateTextureImage -> GL 纹理绘制的调用序列，所以我的正常理解是，我永远不会以某种方式从半满的 GL 缓冲区中读取数据，或者其他什么......对吧？

我还通过将 VirtualDisplay 直接渲染到 MediaCodec 的表面(不涉及自定义 GL)来测试这个问题 - 相同的行为。更新 实际上，由于 MediaCodec 具有固定大小的创建表面，因此无法重现错误，因为我们只能调整虚拟显示的大小，而不能调整编码器的表面大小，所以这不是真正的错误(但即使像这样，VirtualDisplay 以某种方式相应地调整表面大小会很好。

我觉得在关闭虚拟显示器时有些东西在泄漏，或者在创建虚拟显示器之间没有正确初始化，因为它不一致。很可能全新的 MediaProjection 屏幕捕获权限、全新的虚拟显示、刚刚创建的表面纹理，最终只会给我半截的帧……给我留下一张大大的扑克脸。 ..

PS:所有这些都发生在装有 Android 6.0.1 的 Nexus 6 上。

Answer 1

我放弃了，只是使用新 SurfaceTexture 的新 Surface(但保留了 GL 纹理)一起重新创建了虚拟显示。这摆脱了闪烁和半尺寸的框架。我也有一些 logcat 警告，以前使用的 SurfaceTexture 的 BufferQueue 被放弃了，并且在 VirtualDisplay 上调用 release() 之后又得到了 1 或 2 个 onFrameAvailable 回调(它可能是异步的，应该等待 stop() 回调，但它得到那时太复杂了)。

即使在完成所有这些之后，仍然会发生一些非常奇怪的事情:有时捕获只会捕获我的应用程序。如果我向下滑动状态栏或转到主页，一切都会变成黑色(即使我的应用程序位于状态栏窗口后面)。此后唯一的解决方案是关闭/打开屏幕，或将 Camera/Camera2 预览渲染到我的 SurfaceTexture，然后重新创建 VirtualDisplay。关于纹理，幕后肯定有问题。

看起来 VirtualDisplay.resize() 已损坏，这同样适用于使用现有 SurfaceTexture 创建新的虚拟显示。