Android - 如何使用 Camera2 库将相机流传递给 ffmpeg？

Question

我正在尝试创建一个应用程序，在屏幕上显示设备的摄像头，并通过 srt 流式传输摄像头。为此，我使用的是 Camera2 库和 ffmpeg(特别是我使用的是 https://github.com/tanersener/mobile-ffmpeg，它是 Android 的 ffmpeg 包装器)。
我的计划是使用 Camera2 获取相机流(使用 ImageReader.OnImageAvailableListener 类上的 onImageAvailable 方法)，并将此流发送到 udp://localhost:1234。然后，我可以使用 ffmpeg 通过 udp 获取该流，并通过 srt 发送。
我已经解决了使用 ffmpeg 通过 srt 发送流的部分，它工作正常。事实上，如果我将“android_camera”设置为我的 ffmpeg 命令的输入，我的应用程序就可以正常工作。这种方法的问题在于，如果我这样做，我会阻止对摄像头的访问，因此我无法在屏幕上使用另一个库显示摄像头。
我还发现了一个代码，它使用 Camera2 通过 udp 流式传输相机，并且它可以工作，但是此代码的问题是在通过 udp 发送之前将每个帧转换为位图，这使得它不具有性能。
所以，我需要知道哪个是通过udp将数据传递给ffmpeg的最佳方式，所以ffmpeg可以处理它并通过srt发送它？
Camera2 让我可以配置我希望在监听器上接收帧的格式:

ImageReader.newInstance(1280, 720, ImageFormat.JPEG, /*maxImages*/2);

在此示例中，我将 JPEG 设置为 ImageFormat，但在这里我让您可以使用所有可用的格式:
UNKNOWN, RGB_565, YV12, Y8, Y16, NV16, NV21, YUY2, JPEG, DEPTH_JPEG, YUV_420_888, YUV_422_888, YUV_444_888, FLEX_RGB_888, FLEX_RGBA_8888, RAW_SENSOR, RAW_PRIVATE, RAW10, RAW12, DEPTH16, DEPTH_POINT_CLOUD, RAW_DEPTH, PRIVATE, HEIC
这是我要接收每一帧的方法，我需要知道的是在通过 udp 将帧发送到 ffmpeg 之前我必须做什么样的转换？:

@Override
public void onImageAvailable(ImageReader reader) {

}

提前感谢您阅读问题:)

Answer 1

在相机方面，您可能希望使用 YUV_420_888，因为这是保证所有彩色相机都支持的格式。那是一个 4:2:0 的二次采样 YUV 缓冲区。
我不知道 FFMPEG 会通过 udp 接受什么；您必须阅读其文档(或代码)才能弄清楚。但最有可能的是，FFMPEG 将支持某种 YUV 4:2:0 格式，如 NV21、YV12 等。理想情况下，它将支持具有可调节行和像素步幅的灵活的东西，就像 Android 的 YUV_420_888 格式一样。但如果没有，您将需要调整 YUV 数据以匹配 FFMPEG 所需的布局。