python - 使用 Python 进行约束 MLE

Question

我正在使用 Python 进行 MLE 实现。我的对数似然函数有 5 个参数需要估计，其中两个参数必须介于 0 和 1 之间。我可以使用 statsmodels 包中的 GenericLikelihoodModel 模块来实现 MLE，但我不知道如何用约束来做到这一点。具体来说，我的负对数似然函数是

def ekop_ll(bs,alpha,mu,sigma,epsilon_b,epsilon_s):
    ll=[]
    for bsi in bs:
        b=bsi[0]
        s=bsi[1]
        part1 = (1-alpha)*stats.poisson.pmf(b,epsilon_b)*stats.poisson.pmf(s,epsilon_s)
        part2 = alpha*sigma*stats.poisson.pmf(b,epsilon_b)*stats.poisson.pmf(s,mu+epsilon_s)
        part3 = alpha*(1-sigma)*stats.poisson.pmf(b,mu+epsilon_b)*stats.poisson.pmf(s,epsilon_s)
        li = part1+part2+part3
        if part1+part2+part3 == 0:
            li = 10**(-100)
        lli = np.log(li)
        ll.append(lli)
    llsum = -sum(ll)
    return llsum 

MLE 优化等级为

class ekop(GenericLikelihoodModel):
    def __init__(self,endog,exog=None,**kwds):
        if exog is None:
            exog = np.zeros_like(endog)
        super(ekop,self).__init__(endog,exog,**kwds)
    def nloglikeobs(self,params):
        alpha = params[0]
        mu = params[1]
        sigma = params[2]
        epsilon_b = params[3]
        epsilon_s = params[4]
        ll = ekop_ll(self.endog,alpha=alpha,mu=mu,sigma=sigma,epsilon_b=epsilon_b,epsilon_s=epsilon_s)
        return ll
    def fit(self, start_params=None, maxiter=10000, maxfun=5000, **kwds):
         if start_params == None:
             # Reasonable starting values
             alpha_default = 0.5
             mu_default = np.mean(self.endog)
             sigma_default = 0.5
             epsilon_b_default = np.mean(self.endog)
             epsilon_s_default = np.mean(self.endog)
             start_params =[alpha_default,mu_default,sigma_default,epsilon_b_default,epsilon_s_default]
         return super(ekop, self).fit(start_params=start_params,
                                      maxiter=maxiter, maxfun=maxfun,
                                      **kwds) 

主要的是

if __name__ == '__main__':
    bs = #my data#
    mod = ekop(bs)
    res = mod.fit() 

我不知道如何修改我的代码以合并该约束。我希望 alpha 和 sigma 介于 0 和 1 之间。

Answer 1

获得满足约束的内部解决方案的一种常见方法是转换参数，以便优化不受约束。

例如:开区间 (0, 1) 中的约束可以使用 Logit 函数进行转换，例如此处使用的:

https://github.com/statsmodels/statsmodels/blob/master/statsmodels/miscmodels/count.py#L243

我们可以使用多项式 logit 来表示概率、参数在 (0, 1) 中且加起来为 1。

在广义线性模型中，我们使用链接函数对预测平均值施加类似的限制，请参阅 statsmodels/genmod/families/links.py。

如果约束可以绑定(bind)，那么这不起作用。 Scipy 有约束优化器，但尚未连接到 statsmodels LikelihoodModel 类。

相关:scipy 有一个全局优化器，basinhopping，如果存在多个局部最小值，它的工作效果非常好，并且它连接到 LikelihoodModels，并且可以使用 fit 中的方法参数进行选择。