Google Mobile Vision:FaceDetector在没有摄像头的情况下性能不佳[英] Google Mobile Vision: Poor FaceDetector performance without CameraSource

问题描述

现在,我们的应用程序正在成功运行Snapdragon SDK.为了增加兼容设备的数量,我们正在尝试从愿景8.3.0实施面对企业.我们无法使用相机图,因为我们依靠自定义摄像头 +表面来提供某些功能.我们希望重复使用尽可能多的代码,而Snapdragon SDK在我们当前的实施方面做到了惊人的代码.

工作流量如下:

1)检索摄像头预览

2)将传入的字节数组转换为位图(由于某种原因,我们尚未设法使用字节扣.图像大小,旋转和NV21图像格式被提供并进行了验证,但找不到面部). Bitmap是一个已在处理线程内部初始初始初始化的全局变量,以避免分配的放缓.

3)通过Recectframe

饲养检测器

到目前为止的结果还不够好.检测太慢(2-3秒),并且不准确,即使我们已经禁用了地标和分类.

问题是:是否可以在不使用前者的情况下复制camerasource +检测器性能?是否强制使用摄影师将其与实时输入一起使用?

预先感谢!

编辑

遵循下面的PM0733464建议,我尝试使用ByteBuffer而不是位图.这是我遵循的步骤:

// Initialize variables
// Mat is part of opencvSDK
Mat currentFrame = new Mat(cameraPreviewHeight + cameraPreviewHeight / 2, cameraPreviewWidth, CvType.CV_8UC1);
Mat yuvMat = new Mat(cameraPreviewHeight + cameraPreviewHeight / 2, cameraPreviewWidth, CvType.CV_8UC1);

// Load current frame
yuvMat.put(0, 0, data);

// Convert the frame to gray for better processing
Imgproc.cvtColor(yuvMat, currentFrame, Imgproc.COLOR_YUV420sp2RGB);
Imgproc.cvtColor(currentFrame, currentFrame, Imgproc.COLOR_BGR2GRAY); 

从这里,字节数组创建:

// Initialize grayscale byte array
byte[] grayscaleBytes = new byte[data.length];

// Extract grayscale data
currentFrame.get(0, 0, grayscaleBytes);

// Allocate ByteBuffer
ByteBuffer buffer = ByteBuffer.allocateDirect(grayscaleBytes.length);

// Wrap grayscale byte array
buffer.wrap(grayscaleBytes);

// Create frame
// rotation is calculated before
Frame currentGoogleFrame = new Frame.Builder().setImageData(buffer, currentFrame.cols(), currentFrame.rows(), ImageFormat.NV21).setRotation(rotation).build();

以这种方式构建框架,找不到任何面孔.但是,使用位图可以按预期工作:

if(bitmap == null) {
    // Bitmap allocation
    bitmap = Bitmap.createBitmap(currentFrame.cols(), currentFrame.rows(), Bitmap.Config.ARGB_8888);
}

// Copy grayscale contents
org.opencv.android.Utils.matToBitmap(currentFrame, bitmap);

// Scale down to improve performance
Matrix scaleMatrix = new Matrix();
scaleMatrix.postScale(scaleFactor, scaleFactor);

// Recycle before creating scaleBitmap
if(scaledBitmap != null) {
    scaledBitmap.recycle();
}

// Generate scaled bitmap
scaledBitmap = Bitmap.createBitmap(bitmap, 0, 0, bitmap.getWidth(), bitmap.getHeight(), rotationMatrix, true);

// Create frame
// The same rotation as before is still used
if(scaledBitmap != null) {
    Frame currentGoogleFrame = new Frame.Builder().setBitmap(scaledBitmap).setRotation(rotation).build();
}

推荐答案

具有2-3秒的检测并不是典型的.使用Camerasource不需要获得最佳性能,您正在使用什么硬件?您可以提供更多的细节吗?

面部检测的某些方面是速度与准确性权衡.

速度:

  1. 如果可能,请尝试使用较低的分辨率图像.例如,面部检测应在640x480处正常工作.面部检测器代码在运行检测之前对大型图像进行下样本,尽管与接收较低的分辨率原件相比,这需要额外的时间.

  2. 使用字节扣而不是位图的速度会更快.其中的第一部分应该只是灰度图像(没有颜色信息).

  3. 正如您上面指出的,禁用地标和分类将使它更快.

  4. 在将来的版本中,将有一个"最小面部尺寸"选项.将最小尺寸设置更高,使面部检测更快(以不检测较小的面孔的准确性权衡).

  5. 将模式设置为"快速"将使其更快(以未检测到非额外面孔的准确权衡取舍).

  6. 使用"仅突出面"选项会更快,但它仅检测到一个大面(至少是图像宽度的35%).

精度:

  1. 启用地标将允许更准确地计算姿势角度.

  2. 将模式设置为"准确"将在更广泛的角度(例如,轮廓中的面)处检测到面.但是,这需要更多时间.

  3. 缺少上面提到的"最小面部大小"选项,默认情况下仅检测到图像宽度的10%大于10%.将无法检测到较小的面孔.将来更改此设置将有助于检测较小的面孔.但是,请注意,检测较小的面孔需要更长的时间.

  4. 使用较高的分辨率图像将比较低的分辨率图像更准确.例如,如果图像为640x480,可能会遗漏320x240图像中的某些面孔.您设置的"最小面部尺寸"越低,检测到该大小的面的分辨率就越高.

  5. 确保您的旋转正确.例如,如果脸部倒置,则无法检测到脸部.如果要颠倒脸部,则应再次用旋转图像调用面部探测器.

另外,如果您要创建很多位图,垃圾收集时间可能是一个因素.使用bytebuffer的一个优点是,您可以重复使用相同的缓冲区,而不会引起每位图像开销,如果您使用的是每个图像的位图,则会遇到的费用. Camerasource具有此优势,因为它仅使用了几个缓冲区.

本文地址:https://www.itbaoku.cn/post/978535.html