c++ - 用一个蓝色替换一串模糊的图像

Question

在this问题 我问的是如何在一个步骤中实现一系列模糊。

然后我从gaussian blur中发现维基百科的页面:

Applying multiple, successive gaussian blurs to an image has the same effect as applying a single, larger gaussian blur, whose radius is the square root of the sum of the squares of the blur radii that were actually applied. For example, applying successive gaussian blurs with radii of 6 and 8 gives the same results as applying a single gaussian blur of radius 10, since sqrt {6^{2}+8^{2}}=10.

所以我认为 blur 和 singleBlur 在下面的代码中是一样的:

cv::Mat firstLevel;
float sigma1, sigma2;
//intialize firstLevel, sigma1 and sigma2
cv::Mat blur = gaussianBlur(firstLevel, sigma1);
        blur = gaussianBlur(blur, sigma2);
float singleSigma = std::sqrt(std::pow(sigma1,2)+std::pow(sigma2,2));
cv::Mat singleBlur = gaussianBlur(firstLevel, singleSigma);
cv::Mat diff = blur != singleBLur;
// Equal if no elements disagree
assert( cv::countNonZero(diff) == 0);

但是这个 assert 失败了(实际上，例如，blur 的第一行与 singleBlur 的第一行不同)。

为什么？

更新:

在不同的评论要求更多信息后，我会更新答案。

我想做的是并行化 this代码。特别是，我现在专注于提前计算所有级别的所有模糊。序列代码(正确运行)如下:

   vector<Mat> blurs ((par.numberOfScales+3)*levels, Mat());
   cv::Mat octaveLayer = firstLevel;
   int scaleCycles = par.numberOfScales+2;

   //compute blurs at all layers (not parallelizable)
   for(int i=0; i<levels; i++){
       blurs[i*scaleCycles+1] = octaveLayer.clone();
       for (int j = 1; j < scaleCycles; j++){
           float sigma = par.sigmas[j]* sqrt(sigmaStep * sigmaStep - 1.0f);
           blurs[j+1+i*scaleCycles] = gaussianBlur(blurs[j+i*scaleCycles], sigma);
           if(j == par.numberOfScales)
               octaveLayer = halfImage(blurs[j+1+i*scaleCycles]);
       }
   }

地点:

Mat halfImage(const Mat &input)
{
   Mat n(input.rows/2, input.cols/2, input.type());
   float *out = n.ptr<float>(0);
   for (int r = 0, ri = 0; r < n.rows; r++, ri += 2)
      for (int c = 0, ci = 0; c < n.cols; c++, ci += 2)
         *out++ = input.at<float>(ri,ci);
   return n;
}

Mat gaussianBlur(const Mat input, const float sigma)
{
   Mat ret(input.rows, input.cols, input.type());
   int size = (int)(2.0 * 3.0 * sigma + 1.0); if (size % 2 == 0) size++;      
   GaussianBlur(input, ret, Size(size, size), sigma, sigma, BORDER_REPLICATE);
   return ret;
}

对于上面糟糕的索引我很抱歉，但我试图尊重原始代码系统(这太糟糕了，就像从 1 而不是 0 开始计数) .上面的代码有 scaleCycles=5 和 levels=6，因此总共生成了 30 个模糊。

这是“单一模糊”版本，首先我计算每个必须计算的模糊的西格玛(遵循维基百科的公式)然后我应用模糊(注意这仍然是串行的而不是可并行的):

   vector<Mat> singleBlurs ((par.numberOfScales+3)*levels, Mat());
   vector<float> singleSigmas(scaleCycles);
   float acc = 0;
   for (int j = 1; j < scaleCycles; j++){
       float sigma = par.sigmas[j]* sqrt(sigmaStep * sigmaStep - 1.0f);
       acc += pow(sigma, 2);
       singleSigmas[j] = sqrt(acc);
   }

   octaveLayer = firstLevel;
   for(int i=0; i<levels; i++){
       singleBlurs[i*scaleCycles+1] = octaveLayer.clone();
       for (int j = 1; j < scaleCycles; j++){
           float sigma = singleSigmas[j];
           std::cout<<"j="<<j<<" sigma="<<sigma<<std::endl;
           singleBlurs[j+1+i*scaleCycles] = gaussianBlur(singleBlurs[j+i*scaleCycles], sigma);
           if(j == par.numberOfScales)
               octaveLayer = halfImage(singleBlurs[j+1+i*scaleCycles]);
       }
   }

当然，上面的代码也使用与之前版本相同的参数生成了 30 个模糊。

然后这是查看每个 signgleBlurs 和 blurs 之间区别的代码:

   assert(blurs.size() == singleBlurs.size());
   vector<Mat> blurDiffs(blurs.size());
   for(int i=1; i<levels*scaleCycles; i++){
        cv::Mat diff;
        absdiff(blurs[i], singleBlurs[i], diff);
        std::cout<<"i="<<i<<"diff rows="<<diff.rows<<" cols="<<diff.cols<<std::endl;
        blurDiffs[i] = diff;
        std::cout<<"blurs rows="<<blurs[i].rows<<" cols="<<blurs[i].cols<<std::endl;
        std::cout<<"singleBlurs rows="<<singleBlurs[i].rows<<" cols="<<singleBlurs[i].cols<<std::endl;
        std::cout<<"blurDiffs rows="<<blurDiffs[i].rows<<" cols="<<blurDiffs[i].cols<<std::endl;
        namedWindow( "blueDiffs["+std::to_string(i)+"]", WINDOW_AUTOSIZE );// Create a window for display.
        //imshow( "blueDiffs["+std::to_string(i)+"]", blurDiffs[i] );                   // Show our image inside it.
        //waitKey(0);                                          // Wait for a keystroke in the window
        Mat imageF_8UC3;
        std::cout<<"converting..."<<std::endl;
        blurDiffs[i].convertTo(imageF_8UC3, CV_8U, 255);
        std::cout<<"converted"<<std::endl;
        imwrite( "blurDiffs_"+std::to_string(i)+".jpg", imageF_8UC3);
   }

现在，我看到的是 blurDiffs_1.jpg 和 blurDiffs_2.jpg 是黑色的，但是突然从 blurDiffs_3.jpg 直到blurDiffs_29.jpg 变得越来越白。出于某种原因，blurDiffs_30.jpg 几乎全黑了。

第一个(正确的)版本生成了 1761 个描述符。第二个(不正确的)版本生成 >2.3k 描述符。

我无法发布 blurDiffs 矩阵，因为(尤其是第一个)非常大并且发布空间有限。我会发布一些样本。我不会发布 blurDiffs_1.jpg 和 blurDiffs_2.jpg 因为它们完全是黑人。请注意，由于 halfImage，图像变得越来越小(正如预期的那样)。

blurDiffs_3.jpg:

blurDiffs_6.jpg:

blurDiffs_15.jpg:

blurDiffs_29.jpg:

图像的读取方式:

  Mat tmp = imread(argv[1]);
  Mat image(tmp.rows, tmp.cols, CV_32FC1, Scalar(0));

  float *out = image.ptr<float>(0);
  unsigned char *in  = tmp.ptr<unsigned char>(0); 

  for (size_t i=tmp.rows*tmp.cols; i > 0; i--)
  {
     *out = (float(in[0]) + in[1] + in[2])/3.0f;
     out++;
     in+=3;
  }

有人 here建议将 diff 除以 255 以查看真正的差异，但我不明白为什么我理解正确。

如果您需要更多详细信息，请告诉我。

Answer 1

预先警告:我没有使用 OpenCV 的经验，但以下内容与一般计算高斯模糊相关。它是适用的，因为我浏览了有关边界处理和有限内核(FIR 过滤)的使用的 OpenCV 文档。

1. 顺便说一句:您的初始测试对四舍五入很敏感，但您已经解决了这个问题并显示误差要大得多。

2. 注意图像边框效果。对于边缘附近的像素，使用提供的方法之一(BORDER_DEFAULT、BORDER_REPLICATE、 等)虚拟扩展图像。如果您的图像是 |abcd| 并且您使用 BORDER_REPLICATE，那么您实际上是在过滤扩展图像 aaaa|abcd|dddd。结果是 klmn|opqr|stuv。有新的像素值 (k,l,m,n,s,t,u,v) 会立即被丢弃以产生输出图像 |opqr|。如果您现在应用另一个高斯模糊，此模糊将对新扩展的图像 oooo|opqr|rrrr 进行操作 - 不同于 “true” 中间结果，从而为您提供结果与通过具有较大 sigma 的单个高斯模糊获得的结果不同。 尽管这些扩展方法是安全的:REFLECT、REFLECT_101、WRAP。

3. 使用有限的内核大小 G(s1)*G(s2)=G(sqrt(s1^2+s2^2)) 规则通常不成立，因为内核的尾部被切断。您可以通过增加相对于 sigma 的内核大小来减少由此引入的错误，例如:

   int size = (int)(2.0 * 10.0 * sigma + 1.0); if (size % 2 == 0) size++;
   

第 3 点似乎是“咬”你的问题。您真的关心是否保留了 G(s1)*G(s2) 属性。这两个结果在某种程度上都是错误的。它会在很大程度上影响对结果起作用的方法吗？请注意，我给出的使用 10x sigma 的示例可能会解决差异，但会慢得多。

更新:我忘了添加可能最实用的解决方案。使用傅立叶变换计算高斯模糊。该方案将是:

• 计算输入图像的傅立叶变换 (FFT)
• 乘以高斯核的傅里叶变换并计算傅里叶逆变换。忽略复数输出的虚部。

您可以在 wikipedia 上找到频域中的高斯方程。

您可以针对每个尺度 (sigma) 分别(即并行)执行第二步。以这种方式计算模糊的边界条件是 BORDER_WRAP。如果您愿意，可以使用 BORDER_REFLECT 实现相同的效果，前提是您改用离散余弦变换 (DCT)。不知道OpenCV有没有提供。你会在 DCT-II 之后