java - 谷歌移动视觉 : Poor FaceDetector performance without CameraSource

Question

现在，我们的应用程序正在成功运行 Snapdragon SDK。我们正在尝试在我们的项目中实现 Vision 8.3.0 中的 FaceDetector，以增加兼容设备的数量。我们不能使用 CameraSource，因为我们依赖自定义相机 + 表面来提供某些功能。我们希望重用尽可能多的代码，而 Snapdragon SDK 在我们当前的实现中做得非常出色。

工作流程如下:

1) 检索相机预览

2) 将传入的字节数组转换为位图(出于某种原因，我们还没有设法使用 ByteBuffers。提供并验证了图像大小、旋转和 NV21 图像格式，但没有找到人脸)。位图是已在处理线程内部初始化的全局变量，以避免分配速度减慢。

3) 通过 receiveFrame 进给检测器

目前的结果还不够好。检测速度太慢(2-3 秒)且不准确，即使我们禁用了地标和分类。

问题是:是否可以在不使用前者的情况下复制 CameraSource + Detector 的性能？是否必须使用 CameraSource 才能使其与实时输入一起使用？

提前致谢!

编辑

按照下面的 pm0733464 建议，我正在尝试使用 ByteBuffer 而不是 Bitmap。这是我遵循的步骤:

// Initialize variables
// Mat is part of opencvSDK
Mat currentFrame = new Mat(cameraPreviewHeight + cameraPreviewHeight / 2, cameraPreviewWidth, CvType.CV_8UC1);
Mat yuvMat = new Mat(cameraPreviewHeight + cameraPreviewHeight / 2, cameraPreviewWidth, CvType.CV_8UC1);

// Load current frame
yuvMat.put(0, 0, data);

// Convert the frame to gray for better processing
Imgproc.cvtColor(yuvMat, currentFrame, Imgproc.COLOR_YUV420sp2RGB);
Imgproc.cvtColor(currentFrame, currentFrame, Imgproc.COLOR_BGR2GRAY); 

从这里开始，创建字节数组:

// Initialize grayscale byte array
byte[] grayscaleBytes = new byte[data.length];

// Extract grayscale data
currentFrame.get(0, 0, grayscaleBytes);

// Allocate ByteBuffer
ByteBuffer buffer = ByteBuffer.allocateDirect(grayscaleBytes.length);

// Wrap grayscale byte array
buffer.wrap(grayscaleBytes);

// Create frame
// rotation is calculated before
Frame currentGoogleFrame = new Frame.Builder().setImageData(buffer, currentFrame.cols(), currentFrame.rows(), ImageFormat.NV21).setRotation(rotation).build();

以这种方式构建帧会导致找不到人脸。然而，使用位图它按预期工作:

if(bitmap == null) {
    // Bitmap allocation
    bitmap = Bitmap.createBitmap(currentFrame.cols(), currentFrame.rows(), Bitmap.Config.ARGB_8888);
}

// Copy grayscale contents
org.opencv.android.Utils.matToBitmap(currentFrame, bitmap);

// Scale down to improve performance
Matrix scaleMatrix = new Matrix();
scaleMatrix.postScale(scaleFactor, scaleFactor);

// Recycle before creating scaleBitmap
if(scaledBitmap != null) {
    scaledBitmap.recycle();
}

// Generate scaled bitmap
scaledBitmap = Bitmap.createBitmap(bitmap, 0, 0, bitmap.getWidth(), bitmap.getHeight(), rotationMatrix, true);

// Create frame
// The same rotation as before is still used
if(scaledBitmap != null) {
    Frame currentGoogleFrame = new Frame.Builder().setBitmap(scaledBitmap).setRotation(rotation).build();
}

Answer 1

检测需要 2-3 秒并不常见。无需使用 CameraSource 即可获得最佳性能您使用的是什么硬件？你能提供更多细节吗？

人脸检测的某些方面需要权衡速度与准确性。

速度:

1. 如果可能，请尝试使用较低分辨率的图片。例如，人脸检测在 640x480 下应该可以正常工作。人脸检测器代码会在运行检测之前对大图像进行下采样，尽管与接收较低分辨率的原始图像相比，这会花费更多时间。

2. 使用 ByteBuffers 而不是 Bitmaps 会更快一些。它的第一部分应该只是一个灰度图像(没有颜色信息)。

3. 如上所述，禁用地标和分类会使速度更快。

4. 在未来的版本中，将有一个“最小面部尺寸”选项。将最小尺寸设置得更高可以加快人脸检测速度(以不检测较小的人脸作为准确度的折衷)。

5. 将模式设置为“快速”将使它更快(在不检测非正面面部的准确性权衡下)。

6. 使用“仅突出脸”选项会更快，但它只会检测到一张大脸(至少是图像宽度的 35%)。

准确性:

1. 启用地标将使姿态角的计算更加准确。

2. 将模式设置为“准确”将检测角度范围更广的面孔(例如，侧面的面孔)。然而，这需要更多时间。

3. 缺少上述“最小面部尺寸”选项，默认情况下仅检测大于图像宽度 10% 的面部。较小的面孔将不会被检测到。将来更改此设置将有助于检测较小的面孔。但是，请注意，检测较小的人脸需要更长的时间。

4. 使用高分辨率图像比使用低分辨率图像更准确。例如，如果图像为 640x480，则可能会遗漏 320x240 图像中本应检测到的某些人脸。您设置的“最小面部尺寸”越低，检测该尺寸面部所需的分辨率就越高。

5. 确保轮换正确。例如，如果脸部上下颠倒，则不会被检测到。如果你想检测颠倒的人脸，你应该用旋转的图像再次调用人脸检测器。

此外，如果您要创建大量位图，垃圾回收时间可能是一个因素。使用 ByteBuffer 的一个优点是您可以重复使用相同的缓冲区，而不会产生如果您为每个图像使用 Bitmap 时会遇到的每个图像的 GC 开销。 CameraSource 具有此优势，因为它仅使用少量缓冲区。