- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在尝试从文件中解码视频并使用 MediaCodec
将其编码为不同的格式在 API 级别 21 及更高版本(Android OS 5.0 Lollipop)中支持的新异步模式。
在诸如 Big Flake 之类的网站上有许多在同步模式下执行此操作的示例。 , 谷歌的 Grafika ,以及 StackOverflow 上的几十个答案,但没有一个支持异步模式。
我不需要在此过程中显示视频。
我相信一般的程序是用 MediaExtractor
读取文件。作为 MediaCodec
的输入(解码器),允许解码器的输出渲染成Surface
这也是 MediaCodec
的共享输入(编码器),然后最后通过 MediaMuxer
写入编码器输出文件. Surface
在设置编码器期间创建并与解码器共享。
我可以将视频解码为 TextureView
,但共享 Surface
用编码器代替屏幕一直没有成功。
我设置 MediaCodec.Callback()
s 用于我的两个编解码器。我认为一个问题是我不知道在编码器的回调中做什么 onInputBufferAvailable()
功能。我不知道(或知道如何)从 Surface
复制数据。进入编码器 - 这应该自动发生(就像在解码器输出上所做的那样 codec.releaseOutputBuffer(outputBufferId, true);
)。然而,我相信 onInputBufferAvailable
需要调用 codec.queueInputBuffer
为了发挥作用。我只是不知道如何在不从 MediaExtractor
之类的东西获取数据的情况下设置参数在解码端使用。
如果您有 使用异步 MediaCodec
打开视频文件、对其进行解码、将其编码为不同分辨率或格式的示例回调,然后将其保存为文件 ,请分享您的示例代码。
=== 编辑 ===
这是我在异步模式下尝试执行的同步模式下的工作示例:ExtractDecodeEditEncodeMuxTest.java: https://android.googlesource.com/platform/cts/+/jb-mr2-release/tests/tests/media/src/android/media/cts/ExtractDecodeEditEncodeMuxTest.java这个例子在我的应用程序中工作
最佳答案
我相信您不需要在编码器的 onInputBufferAvailable()
中做任何事情回调 - 你不应该调用 encoder.queueInputBuffer()
.就像您从不调用 encoder.dequeueInputBuffer()
和 encoder.queueInputBuffer()
在同步模式下手动进行 Surface 输入编码时,您也不应该在异步模式下进行。
当您调用 decoder.releaseOutputBuffer(outputBufferId, true);
(在同步和异步模式下),这在内部(使用您提供的 Surface
)从表面上将输入缓冲区出列,将输出渲染到其中,并将其排回表面(到编码器)。同步和异步模式之间的唯一区别在于缓冲区事件如何在公共(public) API 中公开,但是当使用 Surface 输入时,它使用不同的(内部)API 来访问相同的,因此同步与异步模式应该无关紧要这一点都没有。
据我所知(虽然我自己没有尝试过),你应该离开 onInputBufferAvailable()
编码器的回调为空。
编辑:
所以,我自己尝试这样做,它(几乎)就像上面描述的那样简单。
如果将编码器输入表面直接配置为解码器的输出(中间没有 SurfaceTexture),则一切正常,同步解码-编码循环转换为异步循环。
但是,如果您使用 SurfaceTexture,您可能会遇到一个小问题。关于调用线程如何等待帧到达 SurfaceTexture 存在问题,请参阅 https://android.googlesource.com/platform/cts/+/jb-mr2-release/tests/tests/media/src/android/media/cts/DecodeEditEncodeTest.java#106和 https://android.googlesource.com/platform/cts/+/jb-mr2-release/tests/tests/media/src/android/media/cts/EncodeDecodeTest.java#104和 https://android.googlesource.com/platform/cts/+/jb-mr2-release/tests/tests/media/src/android/media/cts/OutputSurface.java#113供引用。
据我所知,问题在于 awaitNewImage
如 https://android.googlesource.com/platform/cts/+/jb-mr2-release/tests/tests/media/src/android/media/cts/OutputSurface.java#240 .如果 onFrameAvailable
回调应该在主线程上调用,如果 awaitNewImage
call 也在主线程上运行。如果 onOutputBufferAvailable
回调也在主线程上被调用,你调用 awaitNewImage
从那里开始,我们遇到了一个问题,因为您最终将等待回调(使用 wait()
阻塞整个线程),直到当前方法返回才能运行。
所以我们需要确保 onFrameAvailable
回调来自与调用 awaitNewImage
的线程不同的线程.一种非常简单的方法是创建一个新的单独线程,它只为 onFrameAvailable
提供服务。回调。为此,您可以执行例如这个:
private HandlerThread mHandlerThread = new HandlerThread("CallbackThread");
private Handler mHandler;
...
mHandlerThread.start();
mHandler = new Handler(mHandlerThread.getLooper());
...
mSurfaceTexture.setOnFrameAvailableListener(this, mHandler);
onOutputBufferAvailable
内完成。回调,这可能是与设置 EGL 上下文的线程不同的线程。因此,在这种情况下,需要在设置它的线程中释放 EGL 上下文,如下所示:
mEGL.eglMakeCurrent(mEGLDisplay, EGL10.EGL_NO_SURFACE, EGL10.EGL_NO_SURFACE, EGL10.EGL_NO_CONTEXT);
mEGL.eglMakeCurrent(mEGLDisplay, mEGLSurface, mEGLSurface, mEGLContext);
onOutputBufferAvailable
渲染可以阻止编码器回调被传递。如果它们未交付,则渲染可能会被无限阻塞,因为编码器不会获得返回的输出缓冲区。这可以通过确保在不同线程上接收视频解码器回调来解决,这可以避免
onFrameAvailable
的问题。而是回调。
ExtractDecodeEditEncodeMuxTest
之上实现所有这些,并且看起来工作正常,看看
https://github.com/mstorsjo/android-decodeencodetest .我最初导入了未更改的测试,并将转换为异步模式并分别修复了棘手的细节,以便于查看提交日志中的各个修复。
关于Android MediaCodec 在异步模式下编码和解码,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35884600/
我从 MediaCodec 的官方文档中阅读了以下内容: Raw audio buffers contain entire frames of PCM audio data, which is one
我设法将多个视频与音轨组合在一起,但是后来我意识到,如果将多个视频与其中一个没有音轨组合在一起,则必须为组合的音轨添加静音。 那么,我该怎么做呢?我应该对带时间戳的0填充的ByteBuffer进行静音
我想用MediaCodec和MediaExtractor完成一个简单的音视频播放器,但是在解码和渲染的时候发现很难控制和获取进度,比如MediaPlayer中的seekTo(),getCurrentP
各位, 我创建了一个使用 MediaCodec 和 MediaExtractor 类播放视频的应用程序。此应用程序基于 https://vec.io/posts/android-hardware-de
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 关于您编写的代码问题的问题必须在问题本身中描述具体问题 — 并且包括有效代码 以重现它。参见 SSC
我正在使用 MediaCodec API 将视频和音频编码为 mp4 文件。在单独的线程中编码的数据。有时在某些设备上,音频编码器会停止返回任何可用的输入缓冲区,因此 MediaMuxer 在尝试停止
我将 MediaExtractor 的输出传递到 MediaCodec 解码器,然后将解码器的输出缓冲区传递到编码器的输入缓冲区。我遇到的问题是,当它从编码器出来时,我需要将解码器输出的分辨率从 19
我正在研究一种算法,根据通常的 ExtractDecodeEditEncodeTest CTS test 在 MediaCodec 中将两个视频连接在一起,我对这部分代码特别感兴趣: outputSu
我在异步模式下使用 MediaCodec 类对来自相机预览的原始视频 (1080p) 进行编码。我使用 MediaCodec.BufferInfo.presentationTimeUs 参数读取演示时
我需要在每个视频帧上录制带有时间戳的视频。我在 cts 中看到了一个例子其中使用 InputSurace.java 和 OutputSurface.java 连接 Decoder 和 Encoder
我正在使用 MediaCodec 使用 Camera 的 setPreviewCallback 对视频进行编码。(我按照这个例子 Encoding H.264 from camera with And
我正在使用 MediaCodec 解码使用 ffmpeg 编码的 h264 数据包。当我用 ffmpeg 解码时,帧显示正常。但是,当我使用 MediaCodec 硬件解码器进行解码时,有时会在帧中间
我正在尝试使用 GPU 将效果应用于视频的帧,然后将这些帧重新编码为新的结果视频。 为了提高性能,我实现了以下流程: 有 3 个不同的线程,每个线程都有自己的 OpenGL 上下文。这些上下文的设置方
我正在尝试使用 MediaCodec 从视频中检索所有帧以进行图像处理,我正在尝试渲染视频并从 outBuffers 捕获帧但我无法从接收到的字节启动位图实例。 我尝试将它渲染到一个表面或什么都没有(
我想使用 MediaCodec 将 Surface 编码为 H.264。 使用 API 18,有一种方法可以通过调用 createInputSurface() 然后在该表面上绘制来对表面的内容进行编码
在 Android 4.4.2 中,我使用 MediaCodec 解码 mp3 文件。我正在使用 queueInputBuffer() 对输入的 mp3 编码帧进行排队,并使用 dequeueOutp
我正在尝试从文件中解码视频并使用 MediaCodec 将其编码为不同的格式在 API 级别 21 及更高版本(Android OS 5.0 Lollipop)中支持的新异步模式。 在诸如 Big F
我正在尝试使用 MediaCodec 和 MediaExtractor 实现视频的精确搜索。通过关注 Grafika 的 MoviePlayer ,我已经设法实现了前瞻性。但是我仍然有向后寻求的问题。
我正在尝试使用 MediaDecoder 类编写一个视频播放器,我遇到了一个问题,它阻碍了我的开发, 这是一段代码 extractor = new MediaExtractor(); extracto
我正在尝试将数据(h.264 原始 1080p)流式传输到 android 并将其渲染到表面 View 。问题是,如果我发送数据的速度超过 45fps,则解码器输出会像素化(输入索引和输出索引为 -1
我是一名优秀的程序员,十分优秀!