android - Android5.0中如何使用camera2 API实时获取每一帧数据

Question

我正在使用 camera2Basic现在并尝试获取每一帧数据以进行一些图像处理。我在 Android5.0 中使用 camera2 API，仅进行相机预览时一切都很好，而且很流畅。但是当我使用 ImageReader.OnImageAvailableListener 回调获取每一帧数据时预览卡住了，这导致了糟糕的用户体验。以下是我的相关代码:

这是相机和ImageReader的设置，我设置图像格式为YUV_420_888

public<T> Size setUpCameraOutputs(CameraManager cameraManager,Class<T> kClass, int width, int height) {
    boolean flagSuccess = true;
    try {
        for (String cameraId : cameraManager.getCameraIdList()) {
            CameraCharacteristics characteristics = cameraManager.getCameraCharacteristics(cameraId);
            // choose the front or back camera
            if (FLAG_CAMERA.BACK_CAMERA == mChosenCamera &&        
                    CameraCharacteristics.LENS_FACING_BACK != characteristics.get(CameraCharacteristics.LENS_FACING)) {
                continue;
            }
            if (FLAG_CAMERA.FRONT_CAMERA == mChosenCamera &&  
                    CameraCharacteristics.LENS_FACING_FRONT != characteristics.get(CameraCharacteristics.LENS_FACING)) {
                continue;
            }
            StreamConfigurationMap map = characteristics.get(
                    CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP);

            Size largestSize = Collections.max(
                    Arrays.asList(map.getOutputSizes(ImageFormat.YUV_420_888)),
                    new CompareSizesByArea());

            mImageReader = ImageReader.newInstance(largestSize.getWidth(), largestSize.getHeight(),
                    ImageFormat.YUV_420_888, 3);

            mImageReader.setOnImageAvailableListener(mOnImageAvailableListener, mBackgroundHandler);
            ...
            mCameraId = cameraId;
       }
    } catch (CameraAccessException e) {
        e.printStackTrace();
    } catch (NullPointerException e) {

    }
    ......
}

当相机打开成功后，我创建一个CameraCaptureSession用于相机预览

private void createCameraPreviewSession() {
    if (null == mTexture) {
        return;
    }

    // We configure the size of default buffer to be the size of camera preview we want.
    mTexture.setDefaultBufferSize(mPreviewSize.getWidth(), mPreviewSize.getHeight());

    // This is the output Surface we need to start preview
    Surface surface = new Surface(mTexture);

    // We set up a CaptureRequest.Builder with the output Surface.
    try {
        mPreviewRequestBuilder =
                mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
        mPreviewRequestBuilder.addTarget(mImageReader.getSurface());
        mPreviewRequestBuilder.addTarget(surface);

        // We create a CameraCaptureSession for camera preview
        mCameraDevice.createCaptureSession(Arrays.asList(surface, mImageReader.getSurface()),
                new CameraCaptureSession.StateCallback() {

                    @Override
                    public void onConfigured(CameraCaptureSession session) {
                        if (null == mCameraDevice) {
                            return;
                        }

                        // when the session is ready, we start displaying the preview
                        mCaptureSession = session;

                        // Finally, we start displaying the camera preview
                        mPreviewRequest = mPreviewRequestBuilder.build();
                        try {
                            mCaptureSession.setRepeatingRequest(mPreviewRequest,
                                    mCaptureCallback, mBackgroundHandler);
                        } catch (CameraAccessException e) {
                            e.printStackTrace();
                        }
                    }

                    @Override
                    public void onConfigureFailed(CameraCaptureSession session) {

                    }
                }, null);
    } catch (CameraAccessException e) {
        e.printStackTrace();
    }
}

最后是ImageReader.OnImageAvailableListener回调

private final ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
            @Override
            public void onImageAvailable(ImageReader reader) {
                Log.d(TAG, "The onImageAvailable thread id: " + Thread.currentThread().getId());
                Image readImage = reader.acquireLatestImage();
                readImage.close();
            }
        };

也许我的设置有误，但我尝试了几次都没有用。也许还有另一种获取帧数据的方法而不是 ImageReader，但我不知道。谁知道如何实时获取每一帧数据？

Answer 1

我不相信陈是正确的。图像格式对我测试过的设备的速度几乎没有影响。相反，问题似乎出在图像尺寸上。在图像格式为 YUV_420_888 的 Xperia Z3 Compact 上，我在 StreamConfigurationMap 的 getOutputSizes 方法中提供了一系列不同的选项:

[1600x1200, 1280x720, 960x720, 720x480, 640x480, 480x320, 320x240, 176x144]

对于这些各自的大小，将 mImageReader.getSurface() 设置为 mPreviewRequestBuilder 的目标时我获得的最大 fps 是:

[13, 18, 25, 28, 30, 30, 30, 30 ]

因此，一种解决方案是使用较低的分辨率来达到您想要的速率。对于好奇...请注意，这些时间似乎不受线路的影响

    mPreviewRequestBuilder.addTarget(surface);
...
    mCameraDevice.createCaptureSession(Arrays.asList(surface, mImageReader.getSurface()),

我担心在屏幕上添加表面可能会增加开销，但如果我删除第一行并将第二行更改为

    mCameraDevice.createCaptureSession(Arrays.asList(mImageReader.getSurface()),

然后我看到时间变化小于 1 fps。因此，您是否也在屏幕上显示图像似乎并不重要。

我认为 camera2 API 或 ImageReader 的框架中存在一些开销，导致无法获得 TextureView 明显获得的完整速率。

最令人失望的事情之一是，如果您切换回已弃用的 Camera API，您可以通过 Camera.setPreviewCallbackWithBuffer 设置 PreviewCallback 轻松获得 30 fps 方法。使用这种方法，无论分辨率如何，我都能获得 30fps。具体来说，虽然它没有直接为我提供 1600x1200，但它确实提供了 1920x1080，甚至是 30fps。