image-processing - 为什么GPU对于opencv SURF算法没有表现出比CPU的优势？

Question

我想使用 GPU 来加速 SURF 算法。但实际上我发现 CPUs(enale TBB) 是SURF 算法比 GPU 更快。我的硬件和操作系统信息:CPU:Intel(R) Xeon(R) CPU E3-1230 V2 @ 3.30GHz(4 核 + 8 线程)GPU:Nvidia GTX 660ti ~1000MHz(1344 个 GPU 核心)Ubuntu 12.04(64 位)

应用场景:我的文件夹有大约 120 张图片。我需要使用 SURF 获取每张图像的关键点。

时间日志

每张图片的 CPU(TBB)，花费时间日志:

索引 DB:/home/ole/MatchServer/ImgDB0/img0 在 SURF ALGO 上花费时间(在 TBB 上)[s]:0.00666648

索引 DB:/home/ole/MatchServer/ImgDB0/img1 在 SURF ALGO 上花费时间(在 TBB 上)[s]:0.00803925

索引 DB:/home/ole/MatchServer/ImgDB0/img2 在 SURF ALGO 上花费时间(在 TBB 上)[s]:0.0066344

索引 DB:/home/ole/MatchServer/ImgDB0/img3 在 SURF ALGO 上花费时间(在 TBB 上)[s]:0.00625698

索引 DB:/home/ole/MatchServer/ImgDB0/img4 在 SURF ALGO 上花费时间(在 TBB 上)[s]:0.00699448

索引 DB:/home/ole/MatchServer/ImgDB0/img5 在 SURF ALGO 上花费时间(在 TBB 上)[s]:0.00621663

        .................more..................................

每张图片的GPU，花费时间日志(每张图片的GPU有两行日志，一是上传img到GPU Mem，二是SURF_GPU算法花费时间):

索引 DB:/home/ole/MatchServer/ImgDB0/img0 在 GPU 上传图像上花费时间[s]:1.99329

索引 DB:/home/ole/MatchServer/ImgDB0/img0 在 Gpu SURF ALGO[s] 上花费时间:0.00971809

索引 DB:/home/ole/MatchServer/ImgDB0/img1 在 GPU 上传图像上花费时间[s]:0.000157638

索引 DB:/home/ole/MatchServer/ImgDB0/img1 在 Gpu SURF ALGO[s] 上花费时间:0.00618778

索引 DB:/home/ole/MatchServer/ImgDB0/img2 在 GPU 上传图像上花费时间[s]: 8.8108e-05

索引 DB:/home/ole/MatchServer/ImgDB0/img2 在 Gpu SURF ALGO[s] 上花费时间:0.00736609

索引 DB:/home/ole/MatchServer/ImgDB0/img3 在 GPU 上传图像上花费时间[s]: 8.8599e-05

索引 DB:/home/ole/MatchServer/ImgDB0/img3 在 Gpu SURF ALGO[s] 上花费时间:0.00559131

索引 DB:/home/ole/MatchServer/ImgDB0/img4 在 GPU 上传图像上花费时间[s]: 8.7626e-05

索引 DB:/home/ole/MatchServer/ImgDB0/img4 在 Gpu SURF ALGO[s] 上花费时间:0.00610033

索引 DB:/home/ole/MatchServer/ImgDB0/img5 在 GPU 上传图像上花费时间[s]: 8.9125e-05

索引 DB:/home/ole/MatchServer/ImgDB0/img5 在 Gpu SURF ALGO[s] 上花费时间:0.00632997

      ............................more..................................

我发现将图像垫上传到 GPU 时，第一张图像非常慢，大约 2 秒。接下来是正常的大约 0.000157638 秒。

GPU 代码:

    try
    {
        double t0 = (double)getTickCount();
        cv::gpu::SURF_GPU surf_gpu;
        Size size = help_img.size();
        Size size0 = size;
        int type = help_img.type();
        cv::gpu::GpuMat d_m(size0, type);
        if(size0 != help_img.size() )
            d_m = d_m(Rect((size0.width - size.width) / 2, (size0.height - size.height) / 2, size.width, size.height));
        d_m.upload(help_img);
        double t = ((double)getTickCount() - t0)/getTickFrequency();
        std::cout << "indexing DB:"<< path << " cost time on upload image[s]: " << t << std::endl;

        t0 = (double)getTickCount();
        surf_gpu(d_m, cv::gpu::GpuMat(), help_keypoints);
        t = ((double)getTickCount() - t0)/getTickFrequency();
        std::cout << "indexing DB:"<< path << " cost time on Gpu image[s]: " << t << std::endl;
    }
    catch (const cv::Exception& e)
    {
       printf("issue happen!");
    }

请大家帮忙针对以下问题给出一些建议:

1.为什么第一次上传图片到GPU很慢，大约2秒？

2.为什么GPU不能加速SURF算法，SURF有很多计算，理论上GPU可以加速。

3. SURF算法如何提高GPU性能？

谢谢!!

Answer 1

1. 第一次上传到 GPU 总是比较慢。 GPU 需要先初始化，然后才能进行一些实际工作。这是因为默认的 CUDA 上下文是在第一次 CUDA 调用时创建的，在您的情况下，这是上传到 GPU Mat。解决方法是在执行实际工作之前调用随机 GPU 函数。

2. 这取决于您比较的 GPU 和 CPU。使用 TBB 时，您使用的 XEON 等高端 CPU 更有可能胜出。对于实际加速，请尝试使用像 NVIDIA Tesla 这样的高端 GPU。 OpenCV 的当前实现可能未针对您正在使用的 Kepler 架构 GPU 进行优化。

3. 对此没有固定的答案。这取决于算法的并行性质、最佳实现以及系统中存在的硬件。