python - 如何解释 `scipy.stats.kstest` 和 `ks_2samp` 以评估 `fit` 的数据分布？

Question

我正在尝试评估/测试我的数据对特定分布的拟合程度。

关于它有几个问题，有人告诉我使用 scipy.stats.kstest 或 scipy.stats.ks_2samp。看起来很简单，给它:(A)数据； (2) 分配； (3) 拟合参数。唯一的问题是我的结果没有任何意义？我想测试我的数据的“优点”，它适合不同的分布，但是从 kstest 的输出来看，我不知道我是否可以这样做？

Goodness of fit tests in SciPy

"[SciPy] contains K-S"

Using Scipy's stats.kstest module for goodness-of-fit testing 说

"first value is the test statistics, and second value is the p-value. if the p-value is less than 95 (for a level of significance of 5%), this means that you cannot reject the Null-Hypothese that the two sample distributions are identical."

这只是展示如何适应: Fitting distributions, goodness of fit, p-value. Is it possible to do this with Scipy (Python)?

np.random.seed(2)
# Sample from a normal distribution w/ mu: -50 and sigma=1
x = np.random.normal(loc=-50, scale=1, size=100)
x
#array([-50.41675785, -50.05626683, -52.1361961 , -48.35972919,
#        -51.79343559, -50.84174737, -49.49711858, -51.24528809,
#        -51.05795222, -50.90900761, -49.44854596, -47.70779199,

# ...
#        -50.46200535, -49.64911151, -49.61813377, -49.43372456,
#        -49.79579202, -48.59330376, -51.7379595 , -48.95917605,
#        -49.61952803, -50.21713527, -48.8264685 , -52.34360319])

# Try against a Gamma Distribution
distribution = "gamma"
distr = getattr(stats, distribution)
params = distr.fit(x)

stats.kstest(x,distribution,args=params)
KstestResult(statistic=0.078494356486987549, pvalue=0.55408436218441004)

pvalue=0.55408436218441004 的 p_value 是说 normal 和 gamma 采样来自相同的分布？

我认为 Gamma 分布必须包含正值？ https://en.wikipedia.org/wiki/Gamma_distribution

现在针对正态分布:

# Try against a Normal Distribution
distribution = "norm"
distr = getattr(stats, distribution)
params = distr.fit(x)

stats.kstest(x,distribution,args=params)
KstestResult(statistic=0.070447707170256002, pvalue=0.70801104133244541)

据此，如果我取最低的 p_value，那么我会得出结论，我的数据来自 gamma 分布，即使它们都是负值？

np.random.seed(0)

distr = getattr(stats, "norm")
x = distr.rvs(loc=0, scale=1, size=50)
params = distr.fit(x)
stats.kstest(x,"norm",args=params, N=1000)

KstestResult(statistic=0.058435890774587329, pvalue=0.99558592119926814)

这意味着在 5% 的显着性水平下，我可以拒绝分布相同的原假设。所以我得出结论，它们是不同的，但它们显然不是？我对此的解释不正确吗？如果我使它成为单尾的，那么值越大，它们来自同一分布的可能性就越大吗？

Answer 1

因此，KT 检验的原假设是分布相同。因此，您的 p 值越低，您拒绝原假设和断定分布不同的统计证据就越多。该测试只能真正让您表达对分布不同而非相同的信心，因为该测试旨在找到 alpha，即 I 类错误的概率。

此外，我非常确定 KT 检验仅在您事先考虑了完全指定的分布时才有效。在这里，您只需拟合一些数据的 Gamma 分布，因此当然，测试产生高 p 值也就不足为奇了(即您不能拒绝分布相同的原假设)。

很快，这里是你拟合的 Gamma(蓝色)的 pdf 与你从中采样的正态分布的 pdf(绿色):

In [13]: paramsd = dict(zip(('shape','loc','scale'),params))

In [14]: a = paramsd['shape']

In [15]: del paramsd['shape']

In [16]: paramsd
Out[16]: {'loc': -71.588039241913037, 'scale': 0.051114096301755507}

In [17]: X = np.linspace(-55, -45, 100)

In [18]: plt.plot(X, stats.gamma.pdf(X,a,**paramsd))
Out[18]: [<matplotlib.lines.Line2D at 0x7ff820f21d68>]

很明显，它们并没有太大区别。实际上，该测试比较了经验 CDF (ECDF) 与候选分布的 CDF(同样，您通过将数据拟合到该分布而得出)，并且测试统计量是最大差异。借用 ECDF 的实现 from here ，我们可以看到任何这样的最大差异都​​会很小，并且检验显然不会拒绝原假设:

In [32]: def ecdf(x):
   .....:         xs = np.sort(x)
   .....:         ys = np.arange(1, len(xs)+1)/float(len(xs))
   .....:         return xs, ys
   .....: 

In [33]: plt.plot(X, stats.gamma.cdf(X,a,**paramsd))
Out[33]: [<matplotlib.lines.Line2D at 0x7ff805223a20>]

In [34]: plt.plot(*ecdf(x))
Out[34]: [<matplotlib.lines.Line2D at 0x7ff80524c208>]