c# - EMGU 2.4 中的冲浪特征检测/匹配问题

Question

所以在业余时间，我喜欢尝试通过计算机视觉技术自动化各种游戏。通常，使用过滤器和像素检测进行模板匹配对我来说效果很好。但是，我最近决定尝试使用特征匹配来在关卡中导航。我的目的是保存整个探索 map 的过滤图像。

然后每隔几秒从屏幕上复制 Minimap 并以相同的方式对其进行过滤，然后使用 Surf 将其与我的完整 map 相匹配，这有望为我提供玩家当前位置(比赛的中心就是玩家所在的位置)在 map 上)。下面是按预期工作的一个很好的例子(完整 map ，左侧是找到的匹配项，右侧是迷你 map 图像。

我遇到的问题是 EMGU 库中的 Surf Matching 似乎在很多情况下都能找到不正确的匹配项。

有时它并不像下面这样完全糟糕:

我可以看出发生了什么事，因为它在 map 上的不同位置找到关键点的更好匹配，因为 Surf 应该是比例不变的。我对 EMGU 库或 Surf 的了解还不够，无法对其进行限制，使其只接受像最初的好匹配那样的匹配，然后丢弃这些不好的匹配，或者对其进行调整，使那些不稳定的匹配成为好匹配。

我正在使用新的 2.4 EMGU 代码库，我的 SURF 匹配代码如下。我真的很想把它说到点子上，以便它只返回始终相同大小的匹配项(正常小 map 大小与完整 map 上的缩放比例)，这样我就不会得到一些疯狂形状的匹配项.

public Point MinimapMatch(Bitmap Minimap, Bitmap FullMap)
    {
        Image<Gray, Byte> modelImage = new Image<Gray, byte>(Minimap);
        Image<Gray, Byte> observedImage = new Image<Gray, byte>(FullMap);     
        HomographyMatrix homography = null;

        SURFDetector surfCPU = new SURFDetector(100, false);
        VectorOfKeyPoint modelKeyPoints;
        VectorOfKeyPoint observedKeyPoints;
        Matrix<int> indices;

        Matrix<byte> mask;
        int k = 6;
        double uniquenessThreshold = 0.9;
        try
        {
            //extract features from the object image
            modelKeyPoints = surfCPU.DetectKeyPointsRaw(modelImage, null);
            Matrix<float> modelDescriptors = surfCPU.ComputeDescriptorsRaw(modelImage, null, modelKeyPoints);

            // extract features from the observed image
            observedKeyPoints = surfCPU.DetectKeyPointsRaw(observedImage, null);
            Matrix<float> observedDescriptors = surfCPU.ComputeDescriptorsRaw(observedImage, null, observedKeyPoints);
            BruteForceMatcher<float> matcher = new BruteForceMatcher<float>(DistanceType.L2);
            matcher.Add(modelDescriptors);

            indices = new Matrix<int>(observedDescriptors.Rows, k);
            using (Matrix<float> dist = new Matrix<float>(observedDescriptors.Rows, k))
            {
                matcher.KnnMatch(observedDescriptors, indices, dist, k, null);
                mask = new Matrix<byte>(dist.Rows, 1);
                mask.SetValue(255);
                Features2DToolbox.VoteForUniqueness(dist, uniquenessThreshold, mask);
            }

            int nonZeroCount = CvInvoke.cvCountNonZero(mask);
            if (nonZeroCount >= 4)
            {
                nonZeroCount = Features2DToolbox.VoteForSizeAndOrientation(modelKeyPoints, observedKeyPoints, indices, mask, 1.5, 20);
                if (nonZeroCount >= 4)
                    homography = Features2DToolbox.GetHomographyMatrixFromMatchedFeatures(modelKeyPoints, observedKeyPoints, indices, mask, 2);
            }

            if (homography != null)
            {  //draw a rectangle along the projected model
                Rectangle rect = modelImage.ROI;
                PointF[] pts = new PointF[] { 
                new PointF(rect.Left, rect.Bottom),
                new PointF(rect.Right, rect.Bottom),
                new PointF(rect.Right, rect.Top),
                new PointF(rect.Left, rect.Top)};
                homography.ProjectPoints(pts);
                Array.ConvertAll<PointF, Point>(pts, Point.Round);

                Image<Bgr, Byte> result = Features2DToolbox.DrawMatches(modelImage, modelKeyPoints, observedImage, observedKeyPoints, indices, new Bgr(255, 255, 255), new Bgr(255, 255, 255), mask, Features2DToolbox.KeypointDrawType.DEFAULT);
                result.DrawPolyline(Array.ConvertAll<PointF, Point>(pts, Point.Round), true, new Bgr(Color.Red), 5);                  

                return new Point(Convert.ToInt32((pts[0].X + pts[1].X) / 2), Convert.ToInt32((pts[0].Y + pts[3].Y) / 2));
            }


        }
        catch (Exception e)
        {
            return new Point(0, 0);
        }


     return new Point(0,0);
  }

Answer 1

你有一个特定的场景，在这个场景中，你在提取的关键点周围有黑色区域。当谈到特征匹配时，请记住它发生在与提取的关键点对应的描述符之间。

SURF 描述符描述的是一个补丁而不是单个关键点，在您的场景中可能是匹配性能不佳的原因。

[编辑]

分析您的场景，一种可能的候选方法是基于部分轮廓匹配的方法。我不认为你会发现它已经在开箱即用的 opencv 中实现了，所以我可以向你推荐一篇好论文“Donoser 的“外部轮廓的高效局部形状匹配”，您可以从 citeseerx 中获取并很容易地实现。