algorithm - OpenCV 3.0中BackgroundSubtractorGMG算法参数含义

Question

我正在研究 this paper 中描述的 GMG 背景减法算法。 .由于OpenCV 3.0也有GMG算法的实现(作为附加包opencv_contrib)，我尝试将二者结合起来研究。但是，我不太确定maxFeatures和quantizationLevels这两个参数的含义，因为我想将它们映射到论文中的描述。

引用OpenCV 3.0中的源码(文件modules\bgsegm\src\bgfg_gmg.cpp):

//! Total number of distinct colors to maintain in histogram.
int maxFeatures;

和

//! Number of discrete levels in each channel to be used in histograms.
int quantizationLevels;

并引用论文(第 II B 部分)(修改了一些数学符号和变量名称，因为此处不支持 LaTex):

”...在T个观察到的特征中，选择F_tot <= F_max最近观察到的唯一特征；设I是{1, 2, ... T}的子集，其中|I| = F_tot，为相应的时间索引集。(如果 T > F_max，则观察到的不同特征的数量 F_tot 可能超过限制 F_max。在这种情况下，我们丢弃最旧的观察值，以便 F_tot <= F_max)。然后，我们计算平均值以生成初始直方图:H(T) = (1/F_tot)∑f(r)。这会在直方图的 F_tot 唯一区间中放置相等的权重 1/F_tot。”

从上面的描述中，我原本确信OpenCV 3.0中的maxFeatures是指论文中的F_max，quantizationLevels是指F_tot。然而，这听起来并不正确，原因有二:(1) 论文中提到“F_tot 是观察到的不同特征的数量”，以及 (2) OpenCV 源代码在 maxFeatures 之间没有任何关系和quantizationLevels，而论文明确提出前者应该大于或等于后者。

那么，maxFeatures和quantizationLevels是什么意思呢？而quantizationLevels是OpenCV为了计算直方图引入的参数吗？

Answer 1

进一步研究OpenCV中的源代码后，我认为maxFeatures指的是论文中的F_max，而quantizationLevels实际上是直方图中的bin数。原因如下:

在函数insertFeature()中，包含以下代码:

static bool insertFeature(unsigned int color, float weight, unsigned int* colors, float* weights, int& nfeatures, int maxFeatures)
{
    int idx = -1;
    for (int i = 0; i < nfeatures; ++i) {
        if (color == colors[i]) {
            // feature in histogram
            weight += weights[i];
            idx = i;
            break;
        }
    }
    if (idx >= 0) {                          // case 1
        // move feature to beginning of list
        ::memmove(colors + 1, colors, idx * sizeof(unsigned int));
        ::memmove(weights + 1, weights, idx * sizeof(float));
        colors[0] = color;
        weights[0] = weight;
    }
    else if (nfeatures == maxFeatures) {     // case 2
        // discard oldest feature
        ::memmove(colors + 1, colors, (nfeatures - 1) * sizeof(unsigned int));
        ::memmove(weights + 1, weights, (nfeatures - 1) * sizeof(float));
        colors[0] = color;
        weights[0] = weight;
    }
    else {                                   // case 3
        colors[nfeatures] = color;
        weights[nfeatures] = weight;
        ++nfeatures;
        return true;
    }
    return false;
}

情况一:当颜色与数组colors[]中的一项匹配时，得到对应的数组元素。

情况 2:当颜色与数组 colors[] 中的任何项目不匹配且达到 maxFeatures 时(nFeatures 存储数字存储在数组中的项目)，然后为新颜色删除最旧的特征。

情况 3:当颜色与数组 colors[] 中的任何项都不匹配且尚未达到 maxFeatures 时，将颜色添加到数组的新项中数组，并且 nFeatures 递增 1。

因此maxFeatures应该对应论文中的F_max(最大特征数)。

此外，在函数apply()中:

static unsigned int apply(const void* src_, int x, int cn, double minVal, double maxVal, int quantizationLevels)
{
    const T* src = static_cast<const T*>(src_);
    src += x * cn;

    unsigned int res = 0;
    for (int i = 0, shift = 0; i < cn; ++i, ++src, shift += 8)
        res |= static_cast<int>((*src - minVal) * quantizationLevels / (maxVal - minVal)) << shift;

    return res;
}

此函数根据maxVal、minVal 和quantizationLevels，如果 quantizationLevels = q，代码的结果:

static_cast<int>((*src - minVal) * quantizationLevels / (maxVal - minVal))

必须是 [0, q-1] 范围内的整数。然而，可以有 cn channel (例如，在 RGB 中，cn = 3，因此移位操作和可能的 bin 数量(表示为 b)因此quantizationLevels 的 cn 次方。因此，如果 b > F_max，我们必须丢弃 (b - F_max) 最旧的特征。

因此，在 OpenCV 中，如果我们将 maxFeatures 设置为 >= quantizationLevels ^ cn，我们永远不必丢弃最旧的特征，因为我们允许足够多的垃圾箱，或者足够多的不同独特特征。