python - python中离散点(LDDP)的限制密度

Question

信息论中的香农熵衡量离散随机变量经验分布的不确定性或无序性，而微分熵衡量连续 r.v.然而，发现微分熵的经典定义是错误的，并用离散点的极限密度 (LDDP) 进行了纠正。 scipy 或其他计算 LDDP 吗？我如何在 python 中估计 LDDP？

Answer 1

由于 LDDP 等同于从密度函数 m(x) 到概率分布 p(x) 的负 KL 散度，您可以使用 KL 散度的众多实现之一，例如从 scipy.stats.entropy.

一个适当的过程(假设您有有限支持)是通过对其支持进行采样并计算 KL 散度来用离散分布近似连续分布。

如果这不可能，那么我能想到的唯一选择可能是使用数值(或可能是分析？)积分方法，您应该有很多这种方法。一个简单的第一步是尝试蒙特卡洛方法。