r - 来自 R 的 glm 例程的预期 Fisher 信息

Question

我试图在最大似然估计的背景下更好地理解观察到的信息与预期信息的方面/含义。其中一部分涉及模拟数据。如果我从以下逻辑模型生成结果数据:

set.seed(123)
n <- 5000
c1 <- rnorm(n,3,1.5)
c2 <- rnorm(n,5,1.75)
x <- rnorm(n,1+1.25*c1+1.75*c2,1.5)
p<-1/(1+exp(-(-13.5+log(1.5)*x+log(1.25)*c2+log(1.75)*c2)))
y <- rbinom(n,1,p)
dat<-data.frame(c1,c2,x,y)

然后，如果我理解正确，这段代码给了我观察到的信息矩阵:

a<-glm(y~x+c1+c2,data=dat,family=binomial(link="logit"))
solve(vcov(a))

但我不知道如何获得预期的信息矩阵。

Answer 1

But I can't figure out how to obtain the expected information matrix.

首先，在这种情况下，观察到的信息矩阵和预期的信息矩阵是一致的，因为您使用了规范链接函数(参见 this wiki page 和引用)。

..., if I understood correctly, this code gives me the observed information matrix

其次， vcov给你 (参见 getS3method("vcov", "glm") 和 getS3method("summary", "glm") )其中 psi 是色散参数，X 是设计矩阵，W 是工作重量。 AFAIR glm 使用的 IWLS 方法当使用非规范链接函数时，也等效于 Fischer 评分。因此，这将是预期的信息矩阵，而不是观察到的信息矩阵。