- iOS/Objective-C 元类和类别
- objective-c - -1001 错误,当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
我正在尝试使用 MediaCodec 从视频文件中获取所有帧。如果我尝试在 SurfaceView 上显示视频,一切正常。但是如果 surface 为 null,当我尝试从字节数组中获取 Bitmap 时,总是会获取 null 或运行时异常。
这是我的代码:
private class PlayerThread extends Thread {
private MediaExtractor extractor;
private MediaCodec decoder;
private Surface surface;
public PlayerThread(Surface surface) {
this.surface = surface;
}
@Override
public void run() {
extractor = new MediaExtractor();
extractor.setDataSource(videoPath);
for (int i = 0; i < extractor.getTrackCount(); i++) {
MediaFormat format = extractor.getTrackFormat(i);
String mime = format.getString(MediaFormat.KEY_MIME);
if (mime.startsWith("video/")) {
extractor.selectTrack(i);
decoder = MediaCodec.createDecoderByType(mime);
decoder.configure(format, /*surface*/ null, null, 0);
break;
}
}
if (decoder == null) {
Log.e("DecodeActivity", "Can't find video info!");
return;
}
decoder.start();
ByteBuffer[] inputBuffers = decoder.getInputBuffers();
ByteBuffer[] outputBuffers = decoder.getOutputBuffers();
BufferInfo info = new BufferInfo();
boolean isEOS = false;
while (!Thread.interrupted()) {
++numFrames;
if (!isEOS) {
int inIndex = decoder.dequeueInputBuffer(10000);
if (inIndex >= 0) {
ByteBuffer buffer = inputBuffers[inIndex];
int sampleSize = extractor.readSampleData(buffer, 0);
if (sampleSize < 0) {
// We shouldn't stop the playback at this point,
// just pass the EOS
// flag to decoder, we will get it again from the
// dequeueOutputBuffer
Log.d("DecodeActivity",
"InputBuffer BUFFER_FLAG_END_OF_STREAM");
decoder.queueInputBuffer(inIndex, 0, 0, 0,
MediaCodec.BUFFER_FLAG_END_OF_STREAM);
isEOS = true;
} else {
decoder.queueInputBuffer(inIndex, 0, sampleSize,
extractor.getSampleTime(), 0);
extractor.advance();
}
}
}
int outIndex = decoder.dequeueOutputBuffer(info, 10000);
switch (outIndex) {
case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
Log.d("DecodeActivity", "INFO_OUTPUT_BUFFERS_CHANGED");
outputBuffers = decoder.getOutputBuffers();
break;
case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
Log.d("DecodeActivity",
"New format " + decoder.getOutputFormat());
break;
case MediaCodec.INFO_TRY_AGAIN_LATER:
Log.d("DecodeActivity", "dequeueOutputBuffer timed out!");
break;
default:
// I tried get Bitmap on few ways
//1.
//ByteBuffer buffer = outputBuffers[outIndex];
//byte[] ba = new byte[buffer.remaining()];
//buffer.get(ba);
//final Bitmap bmp = BitmapFactory.decodeByteArray(ba, 0, ba.length);// this return null
//2.
//ByteBuffer buffer = outputBuffers[outIndex];
//final Bitmap bmp = Bitmap.createBitmap(1920, 1080, Config.ARGB_8888);//using MediaFormat object I know width and height
//int a = bmp.getByteCount(); //8294400
//buffer.rewind();
//int b = buffer.capacity();//3137536
//int c = buffer.remaining();//3137536
//bmp.copyPixelsFromBuffer(buffer); // java.lang.RuntimeException: Buffer not large enough for pixels
//I know what exception mean, but i don't know why xception occurs
//In this place I need bitmap
// We use a very simple clock to keep the video FPS, or the
// video
// playback will be too fast
while (info.presentationTimeUs / 1000 > System
.currentTimeMillis() - startMs) {
try {
sleep(10);
} catch (InterruptedException e) {
e.printStackTrace();
break;
}
}
decoder.releaseOutputBuffer(outIndex, true);
break;
}
// All decoded frames have been rendered, we can stop playing
// now
if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
Log.d("DecodeActivity",
"OutputBuffer BUFFER_FLAG_END_OF_STREAM");
break;
}
}
decoder.stop();
decoder.release();
extractor.release();
}
}
我不知道怎么解决。
萨摩斯岛
最佳答案
您的代码(或者可以说是 MediaCodec)存在一些问题。
首先,MediaCodec 中的 ByteBuffer 处理很差,因此您必须根据 dequeueOutputBuffer()
填充的 BufferInfo 对象中的值手动设置缓冲区参数。
其次,从 MediaCodec 出来的值是 YUV 格式,而不是 RGB。从 Android 4.4 开始,Android 框架不提供将输出转换为位图的函数。您将需要提供自己的 YUV 到 RGB 转换器(复数——有多种格式)。一些设备使用专有的、未记录的颜色格式。
您可以在 CTS EncodeDecodeTest 中查看提取和检查 MediaCodec 解码器缓冲区内容的示例缓冲区到缓冲区的方法(例如 checkFrame()
)。
解决此问题的更可靠方法是返回到表面解码,但使用 OpenGL ES 提取像素。大鳞片ExtractMpegFramesTest显示如何执行此操作。
关于android - 如何使用 MediaCodec 从视频中获取位图(帧),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23321880/
我从 MediaCodec 的官方文档中阅读了以下内容: Raw audio buffers contain entire frames of PCM audio data, which is one
我设法将多个视频与音轨组合在一起,但是后来我意识到,如果将多个视频与其中一个没有音轨组合在一起,则必须为组合的音轨添加静音。 那么,我该怎么做呢?我应该对带时间戳的0填充的ByteBuffer进行静音
我想用MediaCodec和MediaExtractor完成一个简单的音视频播放器,但是在解码和渲染的时候发现很难控制和获取进度,比如MediaPlayer中的seekTo(),getCurrentP
各位, 我创建了一个使用 MediaCodec 和 MediaExtractor 类播放视频的应用程序。此应用程序基于 https://vec.io/posts/android-hardware-de
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 关于您编写的代码问题的问题必须在问题本身中描述具体问题 — 并且包括有效代码 以重现它。参见 SSC
我正在使用 MediaCodec API 将视频和音频编码为 mp4 文件。在单独的线程中编码的数据。有时在某些设备上,音频编码器会停止返回任何可用的输入缓冲区,因此 MediaMuxer 在尝试停止
我将 MediaExtractor 的输出传递到 MediaCodec 解码器,然后将解码器的输出缓冲区传递到编码器的输入缓冲区。我遇到的问题是,当它从编码器出来时,我需要将解码器输出的分辨率从 19
我正在研究一种算法,根据通常的 ExtractDecodeEditEncodeTest CTS test 在 MediaCodec 中将两个视频连接在一起,我对这部分代码特别感兴趣: outputSu
我在异步模式下使用 MediaCodec 类对来自相机预览的原始视频 (1080p) 进行编码。我使用 MediaCodec.BufferInfo.presentationTimeUs 参数读取演示时
我需要在每个视频帧上录制带有时间戳的视频。我在 cts 中看到了一个例子其中使用 InputSurace.java 和 OutputSurface.java 连接 Decoder 和 Encoder
我正在使用 MediaCodec 使用 Camera 的 setPreviewCallback 对视频进行编码。(我按照这个例子 Encoding H.264 from camera with And
我正在使用 MediaCodec 解码使用 ffmpeg 编码的 h264 数据包。当我用 ffmpeg 解码时,帧显示正常。但是,当我使用 MediaCodec 硬件解码器进行解码时,有时会在帧中间
我正在尝试使用 GPU 将效果应用于视频的帧,然后将这些帧重新编码为新的结果视频。 为了提高性能,我实现了以下流程: 有 3 个不同的线程,每个线程都有自己的 OpenGL 上下文。这些上下文的设置方
我正在尝试使用 MediaCodec 从视频中检索所有帧以进行图像处理,我正在尝试渲染视频并从 outBuffers 捕获帧但我无法从接收到的字节启动位图实例。 我尝试将它渲染到一个表面或什么都没有(
我想使用 MediaCodec 将 Surface 编码为 H.264。 使用 API 18,有一种方法可以通过调用 createInputSurface() 然后在该表面上绘制来对表面的内容进行编码
在 Android 4.4.2 中,我使用 MediaCodec 解码 mp3 文件。我正在使用 queueInputBuffer() 对输入的 mp3 编码帧进行排队,并使用 dequeueOutp
我正在尝试从文件中解码视频并使用 MediaCodec 将其编码为不同的格式在 API 级别 21 及更高版本(Android OS 5.0 Lollipop)中支持的新异步模式。 在诸如 Big F
我正在尝试使用 MediaCodec 和 MediaExtractor 实现视频的精确搜索。通过关注 Grafika 的 MoviePlayer ,我已经设法实现了前瞻性。但是我仍然有向后寻求的问题。
我正在尝试使用 MediaDecoder 类编写一个视频播放器,我遇到了一个问题,它阻碍了我的开发, 这是一段代码 extractor = new MediaExtractor(); extracto
我正在尝试将数据(h.264 原始 1080p)流式传输到 android 并将其渲染到表面 View 。问题是,如果我发送数据的速度超过 45fps,则解码器输出会像素化(输入索引和输出索引为 -1
我是一名优秀的程序员,十分优秀!