python - mnlogit 回归，奇异矩阵误差

Question

我在 python 中使用 statsmodels 的回归模型可处理 48,065 行数据，但在添加新数据时，我追踪到了一行产生奇异矩阵错误的代码。类似问题的答案似乎表明缺少数据，但我已经检查过，并且容易出错的代码行中没有任何明显不规则的情况导致我出现重大问题。有谁知道这是否是我的代码中的错误，或者知道修复它的解决方案，因为我没有想法。

Data2.csv - http://www.sharecsv.com/s/8ff31545056b8864f2ad26ef2fe38a09/Data2.csv

import pandas as pd
import statsmodels.formula.api as smf

data = pd.read_csv("Data2.csv")
formula = 'is_success ~ goal_angle + goal_distance + np_distance + fp_distance + is_fast_attack + is_header + prev_tb + is_rebound + is_penalty + prev_cross + is_tb2 + is_own_goal + is_cutback + asst_dist'
model = smf.mnlogit(formula, data=data, missing='drop').fit()

CSV 行生成错误:0,0,0,0,0,0,0,1,22.94476,16.877204,13.484806,20.924627,0,0,11.765203

模型中存在问题的线出现错误:

runfile('C:/Users/User1/Desktop/Model Check.py', wdir='C:/Users/User1/Desktop')
Optimization terminated successfully.
         Current function value: 0.264334
         Iterations 20
Traceback (most recent call last):

  File "<ipython-input-76-eace3b458e24>", line 1, in <module>
    runfile('C:/Users/User1/Desktop/xG_xA Model Check.py', wdir='C:/Users/User1/Desktop')

  File "C:\Users\User1\Anaconda2\lib\site-packages\spyderlib\widgets\externalshell\sitecustomize.py", line 714, in runfile
    execfile(filename, namespace)

  File "C:\Users\User1\Anaconda2\lib\site-packages\spyderlib\widgets\externalshell\sitecustomize.py", line 74, in execfile
    exec(compile(scripttext, filename, 'exec'), glob, loc)

  File "C:/Users/User1/Desktop/xG_xA Model Check.py", line 6, in <module>
    model = smf.mnlogit(formula, data=data, missing='drop').fit()

  File "C:\Users\User1\Anaconda2\lib\site-packages\statsmodels\discrete\discrete_model.py", line 587, in fit
    disp=disp, callback=callback, **kwargs)

  File "C:\Users\User1\Anaconda2\lib\site-packages\statsmodels\base\model.py", line 434, in fit
    Hinv = np.linalg.inv(-retvals['Hessian']) / nobs

  File "C:\Users\User1\Anaconda2\lib\site-packages\numpy\linalg\linalg.py", line 526, in inv
    ainv = _umath_linalg.inv(a, signature=signature, extobj=extobj)

  File "C:\Users\User1\Anaconda2\lib\site-packages\numpy\linalg\linalg.py", line 90, in _raise_linalgerror_singular
    raise LinAlgError("Singular matrix")

LinAlgError: Singular matrix

Answer 1

据我所知:

问题出在变量 is_own_goal 上，因为所有值为 1 的观察值的因变量 is_success 也等于 1。这意味着结果没有变化，因为is_own_goal 已经指定它是成功的。

因此，我们无法估计 is_own_goal 的系数，该系数无法由数据识别。系数的方差将是无限的，并且反转 Hessian 矩阵以获得参数估计的协方差会失败，因为 Hessian 矩阵是奇异的。给定浮点精度，在一些计算噪声的情况下，粗麻布可能是可逆的，并且奇异矩阵异常不会出现。我想这就是它适用于某些但并非所有观察结果的原因。

顺便说一句:如果因变量 endog 是二进制的，那么 Logit 更合适，尽管 MNLogit 将其作为特殊情况。

顺便说一句:即使在奇异情况下，惩罚估计也将是强制估计的另一种方式，尽管系数仍然不会被数据识别并且只是惩罚的结果。

在此示例中，

mod = smf.logit(formula, data=data, Missing='drop').fit_regularized()

对我有用。这是L1 惩罚。在 statsmodels 0.8 中，对于以二项式(即 Logit)为族的 GLM 还存在弹性净惩罚。