android - 提高 OpenCV 性能 Android - 快速对象跟踪

Question

我正在尝试在 Android 上实现一个快速对象跟踪应用

我的逻辑如下

1. 删除所需颜色范围以外的所有颜色。
2. 使用 GaussianBlur 平滑图像
3. 用 HoughCircles 找到最大半径的圆

该应用程序可以正常运行，但性能很差，我希望将我的性能至少提高 5 倍。我从这个链接中借用了很多逻辑。

Fast Object Tracking example

public void apply(Mat src, Mat dst) {
    Mat mIntermediateMat = new Mat(src.rows(), src.cols(), CvType.CV_8UC1);

    Mat mHsv = new Mat(src.size(), CvType.CV_8UC3);
    Mat mHsv2 = new Mat(src.size(), CvType.CV_8UC3);

    Imgproc.cvtColor(src, mHsv, Imgproc.COLOR_RGB2HSV, 3);

    Core.inRange(mHsv, new Scalar(0, 86, 72), new Scalar(39, 255, 255), mHsv); // red
    Core.inRange(mHsv, new Scalar(150, 125, 100), new Scalar(180,255,255), mHsv2); // red
    Core.bitwise_or(mHsv, mHsv2, mHsv);

    /// Reduce the noise so we avoid false circle detection
    Imgproc.GaussianBlur(mHsv, mHsv, new Size(7, 7), 2);
    Imgproc.HoughCircles(mHsv, mIntermediateMat, Imgproc.CV_HOUGH_GRADIENT,2.0,100);

    int maxRadious = 0;
    Point pt = new Point(0,0);
    if (mIntermediateMat.cols() > 0) {
        for (int x = 0; x < mIntermediateMat.cols(); x++)
        {
            double vCircle[] = mIntermediateMat.get(0,x);

            if (vCircle == null)
                break;

            int radius = (int)Math.round(vCircle[2]);
            if (radius > maxRadious) {
                maxRadious = radius;
                pt = new Point(Math.round(vCircle[0]), Math.round(vCircle[1]));
            }

        }
        int iLineThickness = 5;
        Scalar red = new Scalar(255, 0, 0);
        // draw the found circle
        Core.circle(dst, pt, maxRadious, red, iLineThickness);
    }

}

我一直在想办法提高我的表现，我希望得到一些可行且重要的建议。

1) 使用多线程。我可以使用一个线程从相机捕获，一个线程处理图像。来自 OpenCV Android Release notes我看到“使用 TBB 启用多线程支持(目前只优化了几个功能)。”但是我不明白这一点。 TBB 仅适用于英特尔芯片吗？有哪些功能可用？是否有 Android 和 OpenCV 的相关示例？

2) 使用功能更强大的 Android 设备。我目前正在使用前置摄像头在 2012 Nexus 7 上运行。我不太清楚哪些规范对我很重要。 Nexus 7 (2012) 拥有 1.3GHz 四核 Nvidia Tegra 3 CPU； 416MHz Nvidia GeForce ULP GPU。

如果我要在目前最快的 Android 手机上运行，​​会有多大不同？

哪些规范与此类应用最相关

1. 中央处理器。
2. 图形处理器。
3. 核心数。
4. 相机的帧速率。

3) 使用 native C++ 代码会对我的表现产生积极影响吗？

4) 我可以使用 OpenCV 的替代品吗？

Answer 1

0)我会分析(或测量运行时间)您使用的所有功能，以检查您必须优化的内容，然后计划进一步的优化。

1)多线程可以提高帧率，但不会有延迟(一个核心在 x 毫秒内处理一帧。你有 N 个核心，所以你有 N 帧非常快，然后你必须再次等待 x 毫秒。 ).我不确定 OpenCV，但据我所知，高斯模糊和霍夫变换不使用多核。

2)Intel TBB 不仅用于 Intel 芯片，人们将它用于 ARM 以及 AMD 芯片。看 OpenCV configure with TBB for ARM (Ubuntu, 3.0.63)

3-4)你用的算法很简单，什么都可以自己实现，不用OpenCV。而 OpenCV 霍​​夫变换或高斯模糊都相当快。 C++ 比 Python 快，但在“整个程序运行时”方面。 Python OpenCV 只是 C++ 库之上的包装器，因此它们“单独”的性能是相似的。