python - 如何使用 OpenCV 和 Python 将视频与引用视频进行比较？

Question

我需要比较 2 个视频并检查它们是否相同。此检查实际上是为了查找视频是否包含任何伪影。

我有一个引用视频，必须将捕获的视频与该引用视频进行比较。视频将在同一时间从 2 个不同的机顶盒捕获。一个将运行无伪影视频，另一个机顶盒将与稳定的机顶盒进行比较测试。无需考虑外部条件。

执行此操作的一种方法是将两个视频分成多个帧，然后比较每个帧。我不想那样做，因为当我有 60fps 的高分辨率视频时，这将是一个非常漫长的过程。

我如何使用 opencv 执行此操作？ , numpy和 matplotlib在 python ？

Answer 1

您可以查看 c++ 的示例 Video Input with OpenCV and similarity measurement

这为您要查找的内容提供了引用。我对 Python 不是很熟悉，但由于 opencv 保持了相同的功能，我认为 yiu 可以从 c++ 示例中推断出来。

最常用的算法是 PSNR(又名峰值信噪比)。

double getPSNR(const Mat& I1, const Mat& I2)
{
 Mat s1;
 absdiff(I1, I2, s1);       // |I1 - I2|
 s1.convertTo(s1, CV_32F);  // cannot make a square on 8 bits
 s1 = s1.mul(s1);           // |I1 - I2|^2

 Scalar s = sum(s1);         // sum elements per channel

 double sse = s.val[0] + s.val[1] + s.val[2]; // sum channels

 if( sse <= 1e-10) // for small values return zero
     return 0;
 else
 {
     double  mse =sse /(double)(I1.channels() * I1.total());
     double psnr = 10.0*log10((255*255)/mse);
     return psnr;
 }
}

但如果您希望结构相似，您可以使用下面的 OpenCV 实现。

 Scalar getMSSIM( const Mat& i1, const Mat& i2)
{
 const double C1 = 6.5025, C2 = 58.5225;
 /***************************** INITS **********************************/
 int d     = CV_32F;

 Mat I1, I2;
 i1.convertTo(I1, d);           // cannot calculate on one byte large values
 i2.convertTo(I2, d);

 Mat I2_2   = I2.mul(I2);        // I2^2
 Mat I1_2   = I1.mul(I1);        // I1^2
 Mat I1_I2  = I1.mul(I2);        // I1 * I2

 /***********************PRELIMINARY COMPUTING ******************************/

 Mat mu1, mu2;   //
 GaussianBlur(I1, mu1, Size(11, 11), 1.5);
 GaussianBlur(I2, mu2, Size(11, 11), 1.5);

 Mat mu1_2   =   mu1.mul(mu1);
 Mat mu2_2   =   mu2.mul(mu2);
 Mat mu1_mu2 =   mu1.mul(mu2);

 Mat sigma1_2, sigma2_2, sigma12;

 GaussianBlur(I1_2, sigma1_2, Size(11, 11), 1.5);
 sigma1_2 -= mu1_2;

 GaussianBlur(I2_2, sigma2_2, Size(11, 11), 1.5);
 sigma2_2 -= mu2_2;

 GaussianBlur(I1_I2, sigma12, Size(11, 11), 1.5);
 sigma12 -= mu1_mu2;

 ///////////////////////////////// FORMULA ////////////////////////////////
 Mat t1, t2, t3;

 t1 = 2 * mu1_mu2 + C1;
 t2 = 2 * sigma12 + C2;
 t3 = t1.mul(t2);              // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2))

 t1 = mu1_2 + mu2_2 + C1;
 t2 = sigma1_2 + sigma2_2 + C2;
 t1 = t1.mul(t2);               // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2))

 Mat ssim_map;
 divide(t3, t1, ssim_map);      // ssim_map =  t3./t1;

 Scalar mssim = mean( ssim_map ); // mssim = average of ssim map
 return mssim;
}

请务必注意，由于您是逐帧比较(2 张图像)，因此您必须循环播放视频以获得相应的对。