python - 大阵列的密度估计

Question

我正在使用 gaussian_kde SciPy 中生成核密度估计的函数:

from scipy.stats.kde import gaussian_kde
from scipy.stats import norm
from numpy import linspace,hstack
from pylab import plot,show,hist

# creating data with two peaks
sampD1 = norm.rvs(loc=-1.0,scale=1,size=300)
sampD2 = norm.rvs(loc=2.0,scale=0.5,size=300)
samp = hstack([sampD1,sampD2])

# obtaining the pdf (my_pdf is a function!)
my_pdf = gaussian_kde(samp)

# plotting the result
x = linspace(-5,5,100)
plot(x,my_pdf(x),'r') # distribution function
hist(samp,normed=1,alpha=.3) # histogram
show()

上面的代码可以工作，但是对于非常大量的样本来说可能会非常慢。

我没有将我的样本存储在数组中，而是有一个包含 value: counts 键/值对的字典。例如，数组 [1, 1, 1, 2, 2, 3] 将在此直方图字典中编码为:

{1:3、2:2、3:1}。

我的问题是，如何使用字典数据结构生成核密度估计值？作为示例输入，请考虑这个字典，其中值 6 出现了 2081 次:

samp = {1: 1000, 2: 2800, 3: 6900, 4: 4322:, 5: 2300, 6: 2081}

在此先感谢您的帮助。

Answer 1

您可以自己执行 Gaussian KDE:您只需首先创建步长足够小的简单直方图。然后使用 fftconvolve 将结果与高斯卷积(scipy.signal.fftconvolve)

import numpy as np, numpy.random,scipy,scipy.stats,scipy.signal,matplotlib.pyplot as plt
N = 1e5
minx = -10
maxx = 10
bins = 10000
w = 0.1 # kernel sigma

xs1 = np.random.normal(0, 1, size=N)
xs2 = np.random.normal(1.9, 0.01, size=N)
xs = np.r_[xs1, xs2]
hh,loc = scipy.histogram(xs, range=(minx, maxx), bins=bins)
kernel = scipy.stats.norm.pdf((loc[1:]+loc[:-1]) * .5, 0, w)
kde = scipy.signal.fftconvolve(hh, kernel, 'same')
plt.plot((loc[1:] + loc[:-1])*.5, kde)