- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
在我的 Android 应用程序中,我需要使用以下 Z 顺序呈现三个 View :
MediaCodec
解码器的输出表面。我要求我必须转换 MediaCodec
生成的图像(例如缩放它)GLSurfaceView
(或我定义的其他运行 GL 着色器的表面/ View )覆盖整个屏幕。显然,这一层中的一些像素将是透明的,以便看到下面的 MediaCodec
输出。ImageView
。不确定我是否需要这些最顶层 View 的透明度,也许完全不透明的矩形 View 没问题 - 它们只是不会覆盖整个屏幕并且会四处移动。看起来这是不可能的,但也许我遗漏了一些东西,或者有一种方法可以在较低级别上付出更多努力(例如 EGL 上下文或类似的东西......我目前不明白) .
我无法让它工作并且担心它不可能的原因是:
MediaCodec
输出层 (1),我必须能够转换图像。所以,我给 MediaCodec 渲染的表面必须来自 TextureView
GLSurfaceView
(2) 的透明像素,我必须调用GLSurfaceView.setZOrderOnTop(true)
。否则 GLSurfaceView 是不透明的。GLSurfaceView.setZOrderOnTop(true)
意味着没有其他 View (3) 呈现在 GLSurfaceView
之上。例如。 ImageView
将始终出现在 GLSurfaceView
的不透明像素后面。看起来调用 GLSurfaceView.setZOrderMediaOverlay(true)
而不是 GLSurfaceView.setZOrderOnTop(true)
是为了解决这个问题并促进这种类型的 Z 排序。如果最底层的 MediaCodec
输出层是 SurfaceView
,它也会执行此操作。但我需要它是一个 TextureView
以便我可以转换它。当下面有一个 TextureView
时,GLSurfaceView.setZOrderMediaOverlay(true)
似乎不起作用:TextureView
完全被中间遮挡了GLSurfaceView
图层而不是通过透明像素显示。
这种 Z 排序不可能是正确的吗?还是可以通过摆弄 EGL 和上下文等来实现?
最佳答案
EGL 上下文在这里并不真正相关。你的战斗是与 SurfaceFlinger 和 View 系统。
如果您运行 adb shell dumpsys SurfaceFlinger
,您可以看到系统合成器知道的所有层的完整列表。如果您在 SurfaceView
中播放 320x240 视频,它看起来像这样(为简洁起见,删除了几列和许多其他内容):
type | source crop | frame name
------------+-----------------------------------+--------------------------------
HWC | [ 0.0, 0.0, 320.0, 240.0] | [ 48, 411, 1032, 1149] SurfaceView
HWC | [ 0.0, 75.0, 1080.0, 1776.0] | [ 0, 75, 1080, 1776] com.android.grafika/com.android.grafika.PlayMovieSurfaceActivity
HWC | [ 0.0, 0.0, 1080.0, 75.0] | [ 0, 0, 1080, 75] StatusBar
HWC | [ 0.0, 0.0, 1080.0, 144.0] | [ 0, 1776, 1080, 1920] NavigationBar
FB TARGET | [ 0.0, 0.0, 1080.0, 1920.0] | [ 0, 0, 1080, 1920] HWC_FRAMEBUFFER_TARGET
图层按 Z 顺序排列,从后到前。 SurfaceView 的表面层在后面,应用程序 UI 层在上面,系统状态 + 导航栏在一切之上。
应用的 View 层次结构中的所有内容都呈现在一个层上。这包括 TextureView
。您无法控制其相对于其他硬件合成层的 Z 顺序。
SurfaceView
的奇特之处在于 View 部分只是一个透明的占位符,而真正的 Action 发生在那个单独的层上,您可以(稍微)控制其 Z 顺序。您可以将其分为三个不同的层次:
所以您要做的是将您的 MediaCodec
输出放在默认层,并将您的 GLES 输出放在“媒体覆盖”层。您需要使用 SurfaceView
完成这两项操作。
很难从这里提供更好的建议,因为您描述了您在尝试解决方案时遇到的问题,而不是您试图解决的问题(即您在构建什么?),但我可以提供一些建议的建议。
首先,您可以缩放 SurfaceView。如果您查看上面的 dumpsys 输出,您会注意到“SurfaceView”行的源裁剪矩形为 320x240(视频的大小),目标矩形为 984x738。这是来自 Grafika's “播放视频 (SurfaceView)”,调整 SurfaceView 的大小以保持视频的 4:3 纵横比。 SurfaceFlinger 负责缩放内容以匹配 View 。
其次,如果您不显示受 DRM 保护的视频内容,您可以将其发送到 SurfaceTexture
并在渲染其他内容时使用 GLES 渲染它。 (这正是 TextureView
所做的,这就是它需要硬件加速的原因。)参见例如Grafika 中的“连续捕获”。
更新:可以在 Android System-Level Graphics doc 中找到更长的描述.
关于android - MediaCodec 和 TextureView 的 Z 顺序问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22569271/
我从 MediaCodec 的官方文档中阅读了以下内容: Raw audio buffers contain entire frames of PCM audio data, which is one
我设法将多个视频与音轨组合在一起,但是后来我意识到,如果将多个视频与其中一个没有音轨组合在一起,则必须为组合的音轨添加静音。 那么,我该怎么做呢?我应该对带时间戳的0填充的ByteBuffer进行静音
我想用MediaCodec和MediaExtractor完成一个简单的音视频播放器,但是在解码和渲染的时候发现很难控制和获取进度,比如MediaPlayer中的seekTo(),getCurrentP
各位, 我创建了一个使用 MediaCodec 和 MediaExtractor 类播放视频的应用程序。此应用程序基于 https://vec.io/posts/android-hardware-de
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 关于您编写的代码问题的问题必须在问题本身中描述具体问题 — 并且包括有效代码 以重现它。参见 SSC
我正在使用 MediaCodec API 将视频和音频编码为 mp4 文件。在单独的线程中编码的数据。有时在某些设备上,音频编码器会停止返回任何可用的输入缓冲区,因此 MediaMuxer 在尝试停止
我将 MediaExtractor 的输出传递到 MediaCodec 解码器,然后将解码器的输出缓冲区传递到编码器的输入缓冲区。我遇到的问题是,当它从编码器出来时,我需要将解码器输出的分辨率从 19
我正在研究一种算法,根据通常的 ExtractDecodeEditEncodeTest CTS test 在 MediaCodec 中将两个视频连接在一起,我对这部分代码特别感兴趣: outputSu
我在异步模式下使用 MediaCodec 类对来自相机预览的原始视频 (1080p) 进行编码。我使用 MediaCodec.BufferInfo.presentationTimeUs 参数读取演示时
我需要在每个视频帧上录制带有时间戳的视频。我在 cts 中看到了一个例子其中使用 InputSurace.java 和 OutputSurface.java 连接 Decoder 和 Encoder
我正在使用 MediaCodec 使用 Camera 的 setPreviewCallback 对视频进行编码。(我按照这个例子 Encoding H.264 from camera with And
我正在使用 MediaCodec 解码使用 ffmpeg 编码的 h264 数据包。当我用 ffmpeg 解码时,帧显示正常。但是,当我使用 MediaCodec 硬件解码器进行解码时,有时会在帧中间
我正在尝试使用 GPU 将效果应用于视频的帧,然后将这些帧重新编码为新的结果视频。 为了提高性能,我实现了以下流程: 有 3 个不同的线程,每个线程都有自己的 OpenGL 上下文。这些上下文的设置方
我正在尝试使用 MediaCodec 从视频中检索所有帧以进行图像处理,我正在尝试渲染视频并从 outBuffers 捕获帧但我无法从接收到的字节启动位图实例。 我尝试将它渲染到一个表面或什么都没有(
我想使用 MediaCodec 将 Surface 编码为 H.264。 使用 API 18,有一种方法可以通过调用 createInputSurface() 然后在该表面上绘制来对表面的内容进行编码
在 Android 4.4.2 中,我使用 MediaCodec 解码 mp3 文件。我正在使用 queueInputBuffer() 对输入的 mp3 编码帧进行排队,并使用 dequeueOutp
我正在尝试从文件中解码视频并使用 MediaCodec 将其编码为不同的格式在 API 级别 21 及更高版本(Android OS 5.0 Lollipop)中支持的新异步模式。 在诸如 Big F
我正在尝试使用 MediaCodec 和 MediaExtractor 实现视频的精确搜索。通过关注 Grafika 的 MoviePlayer ,我已经设法实现了前瞻性。但是我仍然有向后寻求的问题。
我正在尝试使用 MediaDecoder 类编写一个视频播放器,我遇到了一个问题,它阻碍了我的开发, 这是一段代码 extractor = new MediaExtractor(); extracto
我正在尝试将数据(h.264 原始 1080p)流式传输到 android 并将其渲染到表面 View 。问题是,如果我发送数据的速度超过 45fps,则解码器输出会像素化(输入索引和输出索引为 -1
我是一名优秀的程序员,十分优秀!