android - 如何使用 OpenCV 4 Android 在普通(例如白色)背景上检测彩色对象的位置？

Question

OpenCV4Android的色 block 检测样本中, 在 ColorBlobDetectionActivity.java ，他们有一个方法onTouch它(在其开始时)检测用户触摸的屏幕部分的颜色 - 因为它正在接收有关屏幕的哪个部分被触摸的信息 MouseEvent event争论。

我想写一个类似的方法，其中输出只是 HSV blob 的值(就像此示例应用程序中用户触摸的屏幕部分)，但我不希望用户通过触摸屏幕来指示，我更希望程序检测不同颜色的 blob(在纯背景上，例如白色背景)自动。

例如，在下图中，程序应该能够自动检测红色和绿色 Blob 的位置(而不是用户通过触摸 Blob 来指示)，然后计算 HSV (或 RGB 从中我将计算 HSV )该 blob 的值。



我相信这应该可以使用 OpenCV4Android。问题是如何？应该遵循哪些步骤(或者应该使用 API 中的哪些方法)？

来自 ColorBlobDetectionActivity.java 的相关截图:

public boolean onTouch(View v, MotionEvent event) {
        int cols = mRgba.cols();
        int rows = mRgba.rows();

        int xOffset = (mOpenCvCameraView.getWidth() - cols) / 2;
        int yOffset = (mOpenCvCameraView.getHeight() - rows) / 2;

        int x = (int)event.getX() - xOffset;
        int y = (int)event.getY() - yOffset;

        Log.i(TAG, "Touch image coordinates: (" + x + ", " + y + ")");

        if ((x < 0) || (y < 0) || (x > cols) || (y > rows)) return false;

        Rect touchedRect = new Rect();

        touchedRect.x = (x>4) ? x-4 : 0;
        touchedRect.y = (y>4) ? y-4 : 0;

        touchedRect.width = (x+4 < cols) ? x + 4 - touchedRect.x : cols - touchedRect.x;
        touchedRect.height = (y+4 < rows) ? y + 4 - touchedRect.y : rows - touchedRect.y;

        Mat touchedRegionRgba = mRgba.submat(touchedRect);

        Mat touchedRegionHsv = new Mat();
        Imgproc.cvtColor(touchedRegionRgba, touchedRegionHsv, Imgproc.COLOR_RGB2HSV_FULL);

        // Calculate average color of touched region
        mBlobColorHsv = Core.sumElems(touchedRegionHsv);

        ...

编辑:

范围内部分:

关于声明 Utils.matToBitmap(rgbaFrame, bitmap); ，我收到以下异常:



在此 fragment 中， rgbaFrame是从 onCameraFrame 返回的 Mat ，它代表一个相机帧(它是 mRgba 在颜色 Blob 检测示例中，其 github 链接在问题中)

private void detectColoredBlob () { 
     Mat hsvImage = new Mat(); 
     Imgproc.cvtColor(rgbaFrame, hsvImage, Imgproc.COLOR_RGB2HSV_FULL);

     Mat maskedImage = new Mat(); 
     Scalar lowerThreshold = new Scalar(100, 120, 120); 
     Scalar upperThreshold = new Scalar(179, 255, 255); 
     Core.inRange(hsvImage, lowerThreshold, upperThreshold, maskedImage);

     Mat dilatedMat= new Mat(); 
         //List<MatOfPoint> contours = new ArrayList<>(); 
         List<MatOfPoint> contours = new ArrayList<MatOfPoint>(); 
         Mat outputHierarchy = new Mat(); 
         Imgproc.dilate(maskedImage, dilatedMat, new Mat() ); 
         Imgproc.findContours(dilatedMat, contours, outputHierarchy, Imgproc.RETR_LIST, Imgproc.CHAIN_APPROX_SIMPLE); 

         Log.i(TAG, "IPAPP detectColoredBlob() outputHierarchy " + outputHierarchy.toString());

         /*for ( int contourIndex=0; contourIndex < contours.size(); contourIndex++ ) {
            //if(contours.get(contourIndex).size()>100) { //ERROR The operator > is undefined for the argument type(s) Size, int
                 Imgproc.drawContours ( rgbaFrame, contours, contourIndex, new Scalar(0, 255, 0), 4); 
            //} 
         }*/

     Bitmap bitmap = Bitmap.createBitmap(rgbaFrame.rows(), rgbaFrame.cols(), Bitmap.Config.ARGB_8888); 
     Utils.matToBitmap(maskedImage, bitmap); 
     imageView.setImageBitmap(bitmap); 
}

Answer 1

对于每种可能的 blob 颜色，您可以执行 inRange() 操作以给出该范围内的二进制(黑白)像素垫。

Color detection in opencv

然后您可以使用 findContours() 找到这些 blob。您可以查看每个轮廓的大小，看看它是否满足您设置的某个大小/面积阈值。

- 编辑 -

如果背景总是为白色，一种更简单的方法是立即将图像转换为灰度，然后再进行二值化。见 Java OpenCV: How to convert a color image into black and white? .

然后您可以找到轮廓，然后返回原始图像并计算在您找到的轮廓内找到的平均颜色。

棘手的部分是将二进制阈值设置得恰到好处，以便彩色 Blob 在黑白图像中正确显示。