c++ - 寻求概率分布数据表示的建议

Question

我正在寻找一种优雅而有效的方法来表示和存储由显式采样构建的任意概率分布。

该分布预计具有以下属性:

• 样本是浮点值，但原则上可以认为其分辨率低至 0.001
• 样本取自一个区间 [-4000; 4000]
• 但是，对于任意两个样本 a , b , |a - b| < 40
• 90% 的情况下，会有一个尖峰或几个尖峰彼此靠近
• 在 10% 的情况下，它会出现一个宽度为 0.5 到 5 的不平坦平台峰。

通常的表示形式(直方图数组)是不可取的，主要是因为量化/分辨率和空间之间的权衡。我想一定有一种表示方法可以根据本地“复杂性”自适应地改变 bin 大小。

空间是值得关注的，因为更高级别的类似网格的数据结构将包含数千个单元格，每个单元格都包含至少一个这样的概率表示。磁盘或网络传输的简单序列化是可取的，但效率不是优先事项。

任何帮助将不胜感激。

Answer 1

有趣的问题。这是一个建议，根据您的数学倾向，实现起来可能相当困难。

请注意，我以空间换取速度，因为我的建议可能在计算上相当繁重(但这要针对真实数据进行测试)。

首先，使用函数式方法。概率分布是一种概率度量:

struct Distribution
{
    virtual ~Distribution() {};
    virtual double integrate(std::function<double(double)>) = 0;
};

这样，您就可以从生成的样本中抽象出来，因为您不想存储它们。说服自己使用“集成”方法几乎可以做任何事情。

当然，对于显式样本，您可以执行类似的操作

struct SampledDistribution
{
    double integrate(std::function<double(double)> f)
    {
        double acc = 0;
        for (double x: samples) acc += f(samples);
        return acc / samples.size();
    }

    std::deque<double> samples;
};

现在，存储部分:

The usual representation -- a histogram array -- is undesirable mainly because of the trade-off between quantization/resolution and space. I imagine there must be a method of representation that adaptively varies the bin size depending on local "complexity".

传统的方法是wavelets .您可以通过调用 integrate 来生成系数，您可以对其进行序列化。如果它们产生的积分估计量的方差很高，你就把它们扔掉。

然后，为了反序列化，您生成一个 Distribution 对象，其 integrate 方法对小波执行集成。可以使用您最喜欢的正交方法进行积分。我在这里故意含糊其辞，因为实际实现取决于您选择的小波系列(平滑、紧凑支持、正交与否等)。无论如何，您都需要深入研究文献。

这里的要点是，您通常只需要很少的小波来表示具有少量特征(例如几个峰值，否则形状规则)的平滑函数，这与更“规则”的有限元不同(直方图是一种特殊的有限元元素表示)。小波表示使其自身适应被变换的特征，无论它们的位置或大小如何。此外，您还可以决定要保留多少个系数，从而控制压缩比。

此外，0.001 是一个相当高的数字:我怀疑您只需要几个系数

权衡在于您使用哪种小波类:非常平滑的分布可能会用平滑小波很好地表示，但紧凑支持的小波可能更容易集成，等等。实验。请注意，您在这里不需要“小波变换”包:只需要小波函数的显式表示和正交例程(尝试使用 Gauss-XXX 程序进行重建，或其他高阶程序)。

我更喜欢在傅里叶域中定义的小波(如 Lemarie 小波)，因为它们在傅里叶空间中的值和导数为零是已知的，这允许您对分布施加约束:概率度量必须集成到一，你可能碰巧事先知道期望值或方差。

此外，您可能希望将变量更改为仅处理函数，例如。在 [0,1] 上。有大量关于区间小波的文献。