java - 光流方法返回意外值

Question

在过去的两周里，我一直在尝试创建一个 Android 应用程序，当我移动三星 Galaxy III 的相机时，它可以跟踪空间中的点。简而言之，我使用 OpenCV 库尝试使用以下两种方法来跟踪所述点:

public static void goodFeaturesToTrack(
                   Mat image,
                   MatOfPoint corners,
                   int maxCorners,
                   double qualityLevel,
                   double minDistance);

如果图像对应于8位灰度图像，角点对应于具有最佳效果的输出用于跟踪的点数，ma​​xCorners对应于要获取的最大点数，qualityLevel对应于一个分数，使得要获得的所有点必须 >= BestQualityPointValue*qualityLevel 且 minDistance 对应于要找到的点之间的最小距离。 (Link)

public static void calcOpticalFlowPyrLK(
                    Mat prevImg,
                    Mat nextImg,
                    MatOfPoint2f prevPts,
                    MatOfPoint2f nextPts,
                    MatOfByte status,
                    MatOfFloat err);

如果prevImg对应于时间t的8位灰度图像，nextImg 对应于时间 t+dt 的 8 位灰度图像，prevPts 对应于包含 2D(x,y )要跟踪的点，nextPts 对应于包含点的 NEW POSITION 的 OUTPUT 矩阵，>状态表示哪些点已被跟踪(1)，哪些点未被跟踪(0)并且错误包含与已计算位移的那些点相关的误差。 (Link)

到目前为止，我已经成功使用 goodFeaturesToTrack(...) 方法，但我仍然无法使用 calcOpticalFlowPyrLK 计算点的FLOW (...)方法。

这是负责初始化变量和跟踪点的代码块:

  private static final double MIN_FEATURE_QUALITY = 0.05;
  private static final double MIN_FEATURE_DISTANCE = 4.0;
  
  private Mat               prevGray;
  private MatOfPoint2f      prev2D,next2D;
  private MatOfPoint        corners;
  private MatOfByte         status;
  private MatOfFloat        err;
  private Scalar            color;
  private Size              winSize;
  private int               maxCorners,maxLevel;
  
  ...
  
  public void onCameraViewStarted(int width, int height) {

  nextGray = new Mat(height, width, CvType.CV_8UC1); //unsigned char
  Rscale = new Mat(height, width, CvType.CV_8UC1);
  prevGray = new Mat(height, width, CvType.CV_8UC1);
  prev2D = new MatOfPoint2f(new Point());
  next2D = new MatOfPoint2f(new Point());                           
  status = new MatOfByte();                             
  err = new MatOfFloat();   
  corners = new MatOfPoint();
  maxLevel = 0;
  winSize = new Size(21,21);
  color = new Scalar(0, 255, 0);
  maxCorners = 1;
  }
  
  //THIS IS THE METHOD THAT TAKES CARE OF TRACKING THE POINTS
  public Mat onCameraFrame(CvCameraViewFrame inputFrame) {
 
  nextGray = inputFrame.gray();
  Rscale = nextGray;
  
  if(!corners.empty()){
      Video.calcOpticalFlowPyrLK(
              prevGray,
              nextGray,
              prev2D,
              next2D,
              status,
              err,
              winSize,
              maxLevel);
      System.out.println("status = " + status.toArray()[0]);
      System.out.println("err = " + err.toArray()[0]);
  }
  
  
  
  prevGray = nextGray;
  prev2D = next2D;
  for(int i=0;i<next2D.toArray().length;i++){
      Core.circle(Rscale, next2D.toArray()[i], 3, color,-1);
  }
  System.out.println("Prev2D = " + prev2D.toArray()[0].toString());
  System.out.println("Next2D = " + next2D.toArray()[0].toString());       
  return Rscale;
 
  }

问题:如前所述，参数状态告诉用户是否已计算每个点的流量。使用System.out.println(...)，我检查每个点的状态，它们都是 1。此外，我还检查错误并得到 error = 0.0 但是，这就是让我丧命的原因，新的计算点始终与输入点相同(即 nextPts = prevPts )。话虽这么说，有时这些点可能会以难以察觉的微小量改变位置，但这种情况很少发生......

Answer 1

prevGray = nextGray;

这个浅复制将导致两个Mat指向相同的像素数据。因此，在下一次迭代中，当您说:

nextGray = inputFrame.gray();

prevGray 也会更新为完全相同的像素;)

您想要的是深层副本:

 prevGray = nextGray.clone();
 prev2D = next2D.clone();  // same story..