安卓相机2 : How to access every single frames while Recording video?

Question

我的目标是在录制视频时访问每一帧。
我正在使用 Camera2 API。

我想要的是在录制时拍摄每一帧，并且帧应该与结果视频的每一帧完全相等，而不是预览帧。
当然，我可以在录制结束后使用 OpenCV 或 FFMPEG 等工具访问每一帧，但现在我需要在录制时实时获取它们。

Bitmap, Image, ByteBuffer, byte[] 或作为文件，任何类型都可以，如果我可以访问每个数据。

我搜索了一些教程并找到了 this series , 特别是 this video ，但这并不是我所需要的。该教程包括如何在录制视频时拍照。

谁能帮帮我？

Answer 1

不幸的是，一般来说，准确的视频帧只会发送到视频编码器。您当然可以在从 MediaCodec 输出每个编码帧后对视频进行解码，但这有点昂贵。

或者，您可以尝试使用 ImageReader with usage flags ，这只有在相当新的 Android 版本上才有可能，并同时使用 USAGE_CPU_READ_OFTEN 和 USAGE_VIDEO_ENCODE 用法标志，以及格式 YUV_420_888。这应该尽可能接近“正常”视频录制输出，但不幸的是，它可能并不完全相同。