iphone - 如何让示例运行 Open CV

Question

我正在尝试为模板匹配制作 Open CV 项目示例，如 here 所述.
到目前为止我所做的步骤包括:

Downloaded并在我的项目中导入 Open CV 框架将 .m 扩展文件更改为 .mm 并在 .pch 文件中包含了代码

 #ifdef __cplusplus
 #import <opencv2/opencv.hpp>
 #endif

 #ifdef __OBJC__
 #import <UIKit/UIKit.h>
 #import <Foundation/Foundation.h>
 #endif

我还从 link 下载并导入了 MatchTemplate_Demo.cpp 文件。 .
但是这里有图书馆链接问题

 ld: warning: directory not found for option '-L/Users/G1/Desktop/Xcode'
   ld: warning: directory not found for option '-Lprojects/FirstOpenCv/opencv/lib/debug'
   ld: library not found for -lopencv_calib3d
   clang: error: linker command failed with exit code 1 (use -v to see invocation)

我按照相同的步骤包含给定的库 here .

2) Add $(SRCROOT)/opencv to header search path and $(SRCROOT)/opencv/lib/debug for library search path for debug configuration and $(SRCROOT)/opencv/lib/release for release build.

3) Add OpenCV libs to linker input by modifying "Other Linker Flags" option with "-lopencv_calib3d -lzlib -lopencv_contrib -lopencv_legacy -lopencv_features2d -lopencv_imgproc -lopencv_video -lopencv_core".

现在可以请任何人告诉我我应该如何让项目运行。
我已经获取了源和模板图像并导入到项目中。





我现在基本上有 ViewController.h 和 ViewController.mm 文件，我不知道我应该在这些文件中编码什么来查看结果。



还有第 2 步:
我需要使用相机 View 实时扫描图像(这样当我将相机放在源图像上时，它应该扫描并找到模板)。

在关注此 link导入 .cpp 时出现链接器错误 file :

ld: 1 duplicate symbol for architecture i386 clang:
error: linker command failed with exit    code 1 (use -v to see invocation) 

请有人建议我应该如何实现它。

Answer 1

你在这里有三个相互关联的问题:

1/如何让openCV框架在iOS项目中运行
2/如何获取模板匹配c++示例代码在iOS项目中运行
3/如何做实时模板与相机 View 的匹配

1/如何让openCV 框架在iOS 项目中运行

按照您的描述下载并导入 openCV 框架

按照您的描述更改 .pch 文件

检查目标build设置中的 c++ 标准库是否设置为 libc++(这是新项目的默认设置)

不要只导入 demo.cpp 而不进行如下所述的更改(它是一个“原始”c++ 程序，具有自己的 main 函数，需要进行更改才能作为 iOS/Cocoa 项目的一部分工作)。

不要弄乱标题搜索路径、其他链接器标志等，如果您已经从 openCV.org 导入了预构建的框架，则不需要这样做。

除非您知道需要，否则不要将 .m 文件更改为 .mm。我的建议是尽可能将 C++ 代码与 Objective-C 代码分开，因此大多数文件应该是 .m 文件(objective-C)或 .cpp 文件(c++)。您只需要 .mm 前缀来表示“objective-C++”，您打算在同一个文件中混合objective-C 和c++。

2/如何让模板匹配c++示例代码在iOS项目中运行

我们将进行设置，以便您的 iOS viewController - 以及您的大部分 iOS 代码 - 不需要知道图像是使用 openCV/C++ 处理的，同样，C++ 代码不需要知道它的输入位置或输出图像数据被路由到。我们通过在两者之间创建一个小的包装类来实现这一点，它将 objective-c 方法调用转换为 C++ 类成员函数并返回。我们还将在 UIImage 上设置一个类别，将图像格式从 iOS 友好的 UIImage 转换为 openCV 原生的 cv::Mat。

UIImage+OpenCV 分类

您需要一些实用方法来从 UIImage 转换为 cv::Mat 并返回。放置这些的好地方是 UIImage 类别。在 XCode 中:文件>新建文件>Cocoa Touch>Objective-C 类别将为您设置。调用类别 OpenCV 并使其成为 UIImage 上的类别。您需要将此 .m 文件更改为 .mm 文件，因为它需要了解 openCV 框架中的 C++ 类型。

标题应该是这样的:

#import <UIKit/UIKit.h>

@interface UIImage (OpenCV)

    //cv::Mat to UIImage
+ (UIImage *)imageWithCVMat:(const cv::Mat&)cvMat;

    //UIImage to cv::Mat
- (cv::Mat)cvMat;

@end

.mm 文件应该通过密切关注 this openCV.org code sample 来实现这些方法。适合用作类别方法(例如，您不将 UIImage 传递到实例方法中，而是使用 self 引用它)。

您可以像使用 UIImage 类和实例方法一样使用类别方法，如下所示:

UIImage* image = [UIImage imageWithCVMat:matImage];  //class method

cv::Mat matImage = [image cvMat];  //instance method

openCV 包装类

制作一个包装类来将您的 objective-c 方法(从 viewController 调用)转换为 C++ 函数

像这样的标题

//  CVWrapper.h
#import <Foundation/Foundation.h>

@interface CVWrapper : NSObject

+ (NSImage*) templateMatchImage:(UIImage*)image
                          patch:(UIImage*)patch
                         method:(int)method;
@end

我们发送模板图像，补丁图像和模板匹配方法，并返回显示匹配的图像

实现(.mm 文件)

//  CVWrapper.mm
#import "CVWrapper.h"
#import "CVTemplateMatch.h"
#import "UIImage+OpenCV.h"

@implementation CVWrapper


+ (UIImage*) templateMatchImage:(UIImage *)image
                          patch:(UIImage *)patch
                         method:(int)method
{
    cv::Mat imageMat = [image cvMat];
    cv::Mat patchMat = [patch cvMat];

    cv::Mat matchImage = 
           CVTemplateMatch::matchImage(imageMat, 
                                        patchMat,
                                        method);

    UIImage* result =  [UIImage imageWithCVMat:matchImage];
    return result;
}

我们正在有效地采用标准的objective-C 方法和UIImage 类型，并将它们转换为对具有c++(openCV 框架)类型的C++ 成员函数的调用，并将结果转换回UIImage。

C++ TemplateMatch 类

标题:

//  TemplateMatch.h

#ifndef __CVOpenTemplate__CVTemplateMatch__
#define __CVOpenTemplate__CVTemplateMatch__

class CVTemplateMatch
{
public:
    static cv::Mat matchImage (cv::Mat imageMat,
                               cv::Mat patchMat, 
                               int method);
};

#endif /* defined(__CVOpenTemplate__CVTemplateMatch__) */


@end

执行:

这是模板匹配 openCV 示例代码，重新编写为类实现:

//  TemplateMatch.cpp
/*
 Alterations for use in iOS project
 [1] remove GUI code (iOS supplies the GUI)
 [2] change main{} to static member function 
     with appropriate inputs and return value
 [3] change MatchingMethod{} signature 
     to return Mat value
 */

#include "CVTemplateMatch.h"

    //[1] #include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <iostream>
#include <stdio.h>

using namespace std;
using namespace cv;

    /// Global Variables
Mat img; Mat templ; Mat result;
    //[1] char* image_window = "Source Image";
    //[1] char* result_window = "Result window";

int match_method; 
    //[1]  int max_Trackbar = 5; 

    /// Function Headers
Mat MatchingMethod( int, void* );  //[3] (added return value to function)

    // [2] /** @function main */
    // [2] int main( int argc, char** argv )

Mat CVTemplateMatch::matchImage (Mat image,Mat patch, int method)
    // [2]
{
        /// Load image and template
        //[2]  img = imread( argv[1], 1 );
        //[2] templ = imread( argv[2], 1 );

    img = image;           //[2]
    templ = patch;         //[2]
    match_method = method; //[2]

        /// Create windows
        //[1] namedWindow( image_window, CV_WINDOW_AUTOSIZE );
        //[1] namedWindow( result_window, CV_WINDOW_AUTOSIZE );

        /// Create Trackbar
        //[1] char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
        //[1] createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

    Mat result = MatchingMethod( 0, 0 );

        //[1] waitKey(0);
        //[2] return 0;
    return result;  //[2]
}


    //[3] void MatchingMethod( int, void* )
Mat MatchingMethod( int, void* )

{
        /// Source image to display
    Mat img_display;
    img.copyTo( img_display );

        /// Create the result matrix
    int result_cols =  img.cols - templ.cols + 1;
    int result_rows = img.rows - templ.rows + 1;

    result.create( result_cols, result_rows, CV_32FC1 );

        /// Do the Matching and Normalize
    matchTemplate( img, templ, result, match_method );
    normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

        /// Localizing the best match with minMaxLoc
    double minVal; double maxVal; Point minLoc; Point maxLoc;
    Point matchLoc;

    minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );

        /// For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better
    if( match_method  == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
        { matchLoc = minLoc; }
    else
        { matchLoc = maxLoc; }

        /// Show me what you got
    rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
    rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );

        //[1]  imshow( image_window, img_display );  
        //[1] imshow( result_window, result );       

    return img_display; //[3] add return value
}

现在在您的 viewController你只需要调用这个方法:

UIImage* matchedImage = 
       [CVWrapper templateMatchImage:self.imageView.image
                               patch:self.patchView.image
                              method:0];

看不到 C++。

3/模板与实时摄像机 View 匹配

简短的回答: matchTemplate在实时相机环境中不会很好地工作。该算法正在图像中寻找与补丁具有相同比例和方向的匹配项:它以原始方向和大小在图像上滑动补丁块，以比较最佳匹配。如果图像透视倾斜、大小不同或旋转到不同的方向，这不会产生很好的结果。

你可以看看 OpenCV 的 Feature Detection algorithms ，其中一些已经 moved to non-free .这是一个 nice description of SIFT给你的想法。对于视频捕获，您可能还想查看 cap_ios.h在 opencv2/highgui : here is a tutorial .