python - 如何在Python中找到连续变量的熵？

Question

我有一个变量，其值类似于 [23.13, 56.1, 12.6, 1.23, 5.56]。我想找到这个变量的熵。我在这里得到一个代码 How to compute the shannon entropy and mutual information of N variables但对于连续变量，应该首选什么 bin 大小？

Answer 1

不存在“最佳”箱大小(除非您的值属于明显不同的簇)。

对于连续分布，最好使用 Kozachenko-Leonenko k 最近邻熵估计器 (K & L 1987) 和相应的 Kraskov, ..., Grassberger (2004) 互信息估计器。

Kozachenko-Leonenko 估计器的基本思想是查看相邻数据点之间的平均距离(的某个函数)。直觉是，如果距离很大，数据的分散性就很大，因此熵也很大。在实践中，人们倾向于采用 k 最近邻距离，而不是采用最近邻距离，这往往会使估计更加稳健。

我的 github 上有这两个版本的实现:https://github.com/paulbrodersen/entropy_estimators .