java - 如何在 simple-openni 中获得清晰的用户掩码？

Question

我正在尝试提取用户轮廓并将其放在我的图像上方。我能够制作一个 mask 并从 RGB 图像中剪切用户。但轮廓很乱。

问题是如何使蒙版更加精确(以适合真实用户)。我尝试过 ERODE-DILATE 过滤器，但作用不大。也许我需要像 Photoshop 中那样的羽毛滤镜。或者我不知道。

这是我的代码。

import SimpleOpenNI.*;
SimpleOpenNI  context;
PImage mask;
void setup()
{
  size(640*2, 480);
  context = new SimpleOpenNI(this);
  if (context.isInit() == false)
  {        
    exit();
    return;
  }
  context.enableDepth(); 
  context.enableRGB();
  context.enableUser();
  context.alternativeViewPointDepthToImage();     
}

void draw()
{
  frame.setTitle(int(frameRate) + " fps");     
  context.update();
  int[] userMap = context.userMap();  
  background(0, 0, 0);
  mask = loadImage("black640.jpg");  //just a black image  
  int xSize = context.depthWidth();
  int ySize = context.depthHeight();  
  mask.loadPixels();
  for (int y = 0; y < ySize; y++) {      
    for (int x = 0; x < xSize; x++) {        
      int index = x + y*xSize;     
      if (userMap[index]>0) {  
        mask.pixels[index]=color(255, 255, 255);
      }
    }
  }
  mask.updatePixels();
  image(mask, 0, 0);
  mask.filter(DILATE);  
  mask.filter(DILATE);         
  PImage rgb = context.rgbImage();
  rgb.mask(mask);  
  image(rgb, context.depthWidth() + 10, 0);
}

Answer 1

很高兴您能够对齐 RGB 和深度流。在效率方面有一些可以改进的地方:

无需在每一帧(在draw()循环中)重新加载黑色图像，因为无论如何你都会修改所有像素:

mask = loadImage("black640.jpg");  //just a black image

此外，由于您在循环用户数据时不需要 x,y 坐标，因此您可以使用单个 for 循环，这应该会更快一些:

  for(int i = 0 ; i < numPixels ; i++){
    mask.pixels[i] = userMap[i] > 0 ? color(255) : color(0);
  }

而不是:

for (int y = 0; y < ySize; y++) {      
    for (int x = 0; x < xSize; x++) {        
      int index = x + y*xSize;     
      if (userMap[index]>0) {  
        mask.pixels[index]=color(255, 255, 255);
      }
    }
  }

您可以做的另一件事是从 SimpleOpenNI 检索 userImage()，而不是 userData() 并应用 THRESHOLD 过滤器理论上，这应该给你与上面相同的结果。

例如:

int[] userMap = context.userMap();  
  background(0, 0, 0);
  mask = loadImage("black640.jpg");  //just a black image  
  int xSize = context.depthWidth();
  int ySize = context.depthHeight();  
  mask.loadPixels();
  for (int y = 0; y < ySize; y++) {      
    for (int x = 0; x < xSize; x++) {        
      int index = x + y*xSize;     
      if (userMap[index]>0) {  
        mask.pixels[index]=color(255, 255, 255);
      }
    }
  }

可能是:

mask = context.userImage();
mask.filter(THRESHOLD);

在过滤方面，如果你想缩小轮廓，你应该ERODE，模糊应该给你一点像 Photoshop 那样的羽化效果。

请注意，一些filter()调用接受参数(如 BLUR)，但其他人不喜欢 ERODE/DILATE 形态过滤器，但您仍然可以滚动自己的循环来处理这个问题。

我还建议在使用滤镜时使用某种易于调整的界面(可以是精美的 slider 或简单的键盘快捷键)。

这是使用上述注释对重构草图进行的粗略尝试:

import SimpleOpenNI.*;
SimpleOpenNI  context;
PImage mask;
int numPixels = 640*480;

int dilateAmt = 1;
int erodeAmt = 1;
int blurAmt = 0;
void setup()
{
  size(640*2, 480);
  context = new SimpleOpenNI(this);

  if (context.isInit() == false)
  {        
    exit();
    return;
  }
  context.enableDepth(); 
  context.enableRGB();
  context.enableUser();
  context.alternativeViewPointDepthToImage();  
  mask = createImage(640,480,RGB);  
}

void draw()
{
  frame.setTitle(int(frameRate) + " fps");     
  context.update();
  int[] userMap = context.userMap();  
  background(0, 0, 0);

  //you don't need to keep reloading the image every single frame since you're updating all the pixels bellow anyway
//  mask = loadImage("black640.jpg");  //just a black image  

//  mask.loadPixels();

//  int xSize = context.depthWidth();
//  int ySize = context.depthHeight();  
//  for (int y = 0; y < ySize; y++) {      
//    for (int x = 0; x < xSize; x++) {        
//      int index = x + y*xSize;     
//      if (userMap[index]>0) {  
//        mask.pixels[index]=color(255, 255, 255);
//      }
//    }
//  }

  //a single loop is usually faster than a nested loop and you don't need the x,y coordinates anyway
  for(int i = 0 ; i < numPixels ; i++){
    mask.pixels[i] = userMap[i] > 0 ? color(255) : color(0);
  }
  //erode
  for(int i = 0 ; i < erodeAmt ; i++) mask.filter(ERODE);
  //dilate 
  for(int i = 0 ; i < dilateAmt; i++) mask.filter(DILATE);
  //blur  
  mask.filter(BLUR,blurAmt);

  mask.updatePixels();
  //preview the mask after you process it  
  image(mask, 0, 0);

  PImage rgb = context.rgbImage();
  rgb.mask(mask);  
  image(rgb, context.depthWidth() + 10, 0);

  //print filter values for debugging purposes
  fill(255);
  text("erodeAmt: " + erodeAmt + "\tdilateAmt: " + dilateAmt + "\tblurAmt: " + blurAmt,15,15);
}
void keyPressed(){
  if(key == 'e') erodeAmt--;
  if(key == 'E') erodeAmt++;
  if(key == 'd') dilateAmt--;
  if(key == 'D') dilateAmt++;
  if(key == 'b') blurAmt--;
  if(key == 'B') blurAmt++;
  //constrain values
  if(erodeAmt < 0) erodeAmt = 0;
  if(dilateAmt < 0) dilateAmt = 0;
  if(blurAmt < 0) blurAmt = 0;
}

不幸的是，我现在无法使用实际传感器进行测试，因此请使用解释的概念，但请记住完整的草图代码尚未经过测试。

上面的草图(如果运行)应该允许您使用按键来控制滤镜参数(e/E 用于减少/增加侵 eclipse ，d/D 用于膨胀，b/B 用于模糊)。希望您能得到满意的结果。

一般来说，在使用 SimpleOpenNI 时，我建议针对最常见的用例录制一个人的 .oni 文件(请查看 RecorderPlay 示例)。从长远来看，这将为您在测试时节省一些时间，并允许您在分离传感器的情况下进行远程工作。需要记住的一件事是，录音时的深度分辨率降低到一半(但使用 usingRecording boolean 标志应该可以保证安全)

最后一点也是最重要的一点是关于最终结果的质量。如果源图像一开始就不容易使用，那么生成的图像就不会好得多。原始 Kinect 传感器的深度数据不是很好。华硕传感器感觉更稳定一点，但在大多数情况下差异仍然可以忽略不计。如果您打算坚持使用这些传感器之一，请确保您有清晰的背景和良好的照明(没有太多直接的暖光(阳光、白炽灯泡等)，因为它们可能会干扰传感器)

如果您想要更准确的用户剪切，并且上述过滤无法获得您想要的结果，请考虑改用更好的传感器，例如 KinectV2。深度质量更好，传感器不易受到暖光直射的影响。这可能意味着您需要使用 Windows(我看到有一个 KinectPV2 包装器可用)或 OpenFrameworks(类似于处理的 C++ 库集合)和 ofxKinectV2