gpt4 book ai didi

python - 使用 Scipy 与 Matlab 拟合对数正态分布

转载 作者:太空宇宙 更新时间:2023-11-03 13:48:02 24 4
gpt4 key购买 nike

我正在尝试使用 Scipy 拟合对数正态分布。我之前已经使用 Matlab 完成了它,但由于需要将应用程序扩展到统计分析之外,我正在尝试在 Scipy 中重现拟合值。

下面是我用来拟合数据的 Matlab 代码:

% Read input data (one value per line)
x = [];
fid = fopen(file_path, 'r'); % reading is default action for fopen
disp('Reading network degree data...');
if fid == -1
disp('[ERROR] Unable to open data file.')
else
while ~feof(fid)
[x] = [x fscanf(fid, '%f', [1])];

end
c = fclose(fid);
if c == 0
disp('File closed successfully.');
else
disp('[ERROR] There was a problem with closing the file.');
end
end

[f,xx] = ecdf(x);
y = 1-f;

parmhat = lognfit(x); % MLE estimate
mu = parmhat(1);
sigma = parmhat(2);

这是拟合图:

enter image description here

现在这是我的 Python 代码,目的是实现相同的目的:

import math
from scipy import stats
from statsmodels.distributions.empirical_distribution import ECDF

# The same input is read as a list in Python
ecdf_func = ECDF(degrees)
x = ecdf_func.x
ccdf = 1-ecdf_func.y

# Fit data
shape, loc, scale = stats.lognorm.fit(degrees, floc=0)

# Parameters
sigma = shape # standard deviation
mu = math.log(scale) # meanlog of the distribution

fit_ccdf = stats.lognorm.sf(x, [sigma], floc=1, scale=scale)

这是使用 Python 代码的拟合。

enter image description here

如您所见,两组代码都能产生良好的拟合效果,至少在视觉上是这样。

问题在于估计的参数 mu 和 sigma 存在巨大差异。

来自 Matlab:mu = 1.62 sigma = 1.29。来自 Python:mu = 2.78 sigma = 1.74。

为什么会有这样的差异?

注意:我已经仔细检查了两组拟合的数据完全相同。相同数量的点,相同的分布。

非常感谢您的帮助!提前致谢。

其他信息:

import scipy
import numpy
import statsmodels

scipy.__version__
'0.9.0'

numpy.__version__
'1.6.1'

statsmodels.__version__
'0.5.0.dev-1bbd4ca'

Matlab 版本为 R2011b。

版本:

如以下答案所示,问题出在 Scipy 0.9 上。我能够使用 Scipy 11.0 从 Matlab 重现 mu 和 sigma 结果。

更新 Scipy 的一种简单方法是:

pip install --upgrade Scipy

如果你没有 pip(你应该!):

sudo apt-get install pip

最佳答案

scipy 0.9.0 中的fit 方法有一个错误,在以后的scipy 版本中已经修复。

下面脚本的输出应该是:

Explicit formula:   mu = 4.99203450, sig = 0.81691086
Fit log(x) to norm: mu = 4.99203450, sig = 0.81691086
Fit x to lognorm: mu = 4.99203468, sig = 0.81691081

但是对于 scipy 0.9.0,它是

Explicit formula:   mu = 4.99203450, sig = 0.81691086
Fit log(x) to norm: mu = 4.99203450, sig = 0.81691086
Fit x to lognorm: mu = 4.23197270, sig = 1.11581240

以下测试脚本展示了三种获得相同结果的方法:

import numpy as np
from scipy import stats


def lognfit(x, ddof=0):
x = np.asarray(x)
logx = np.log(x)
mu = logx.mean()
sig = logx.std(ddof=ddof)
return mu, sig


# A simple data set for easy reproducibility
x = np.array([50., 50, 100, 200, 200, 300, 500])

# Explicit formula
my_mu, my_sig = lognfit(x)

# Fit a normal distribution to log(x)
norm_mu, norm_sig = stats.norm.fit(np.log(x))

# Fit the lognormal distribution
lognorm_sig, _, lognorm_expmu = stats.lognorm.fit(x, floc=0)

print "Explicit formula: mu = %10.8f, sig = %10.8f" % (my_mu, my_sig)
print "Fit log(x) to norm: mu = %10.8f, sig = %10.8f" % (norm_mu, norm_sig)
print "Fit x to lognorm: mu = %10.8f, sig = %10.8f" % (np.log(lognorm_expmu), lognorm_sig)

在 std 中使用选项 ddof=1。开发者使用无偏方差估计的计算:

In [104]: x
Out[104]: array([ 50., 50., 100., 200., 200., 300., 500.])

In [105]: lognfit(x, ddof=1)
Out[105]: (4.9920345004312647, 0.88236457185021866)

matlab的lognfit documentation中有注释也就是说,当不使用审查时,lognfit 使用方差的无偏估计量的平方根来计算 sigma。这对应于在上面的代码中使用 ddof=1。

关于python - 使用 Scipy 与 Matlab 拟合对数正态分布,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15630647/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com