CHAPTER 05 / 5.2
Hessian 矩阵与方差估计
对数似然在峰顶越弯,估计越准:。
5.1 找到了对数似然的峰顶 。峰顶越尖,稍微偏离 似然就明显下降,数据对参数的约束就越强,估计也就越准。“有多尖”由二阶导数(Hessian 矩阵)衡量,它的负逆矩阵就是 的方差估计。
信息 10.36
标准误 0.3107
模拟估计值的标准差0.3069
95% 置信区间5.529 ~ 6.747
把 从 20 拖到 500:山顶的深色区域越缩越小,说明数据越多,稍微偏离 似然就掉得越快。Hessian 矩阵量的就是山顶的弯曲程度,由它画出的椭圆在 轴和 轴上的投影正是两个 95% 置信区间。散点是换 500 批数据各自得到的估计值,它们散开的范围和椭圆一致:只看手里这一个样本的山顶形状,就能知道估计值会有多大的波动。 时深色区域并不是标准的椭圆(向 大的一侧拖尾),所以这是大样本近似。
课件例题:Hessian 矩阵、方差与置信区间的计算展开阅读
二阶偏导数与 Hessian 矩阵
在 处,,,所以
对角线以外是 0:μ̂ 与 σ̂ 渐近不相关。本例中观测信息 −H 在估计值处恰好等于 Fisher 信息。
方差估计与置信区间(数据集 B)
近似 95% 置信区间是估计值加减 1.96 倍标准误:
我们更关心的往往是参数的函数(例如分布的均值),它的方差见 5.3 Delta 方法。
信息矩阵与极大似然估计的渐近正态性展开阅读
单个观测的对数密度记为 。在正则条件下,得分的期望为 0,且二阶导数的期望与得分平方的期望互为相反数:
证明:,所以 ;再对 求一次导,并用 ,即得第二式。
于是 Fisher 信息有两种等价写法;多个参数时它是一个矩阵:
当 时,似然方程有解的概率趋于 1,并且 渐近服从正态分布,均值为 ,协方差矩阵为 ;因此极大似然估计渐近无偏且相合。
期望信息需要对数据求期望,实际计算(R 中的 optim)用的是观测信息:把 Hessian 矩阵在 处的值直接取负再求逆。
对应课件的 R 代码展开阅读
optim 在最大化对数似然的同时用数值差分给出 Hessian 矩阵。
x <- c(27, 82, 115, 126, 155, 161, 243, 294, 340, 384,
457, 680, 855, 877, 974, 1193, 1340, 1884, 2558, 15743)
LLlognormal <- function(x, pars) {
sum(dlnorm(x, meanlog = pars[1], sdlog = pars[2], log = TRUE))
}
mlognormal <- optim(par = c(1, 2), # 初始值
fn = LLlognormal, x = x,
hessian = TRUE, # 输出 Hessian 矩阵
method = "Nelder-Mead",
control = list(fnscale = -1, # -1 表示最大化
maxit = 100000))
estimates <- mlognormal$par
Hessian <- mlognormal$hessian
var_est <- diag(solve(-Hessian)) # 估计量的方差
se_est <- sqrt(var_est) # 标准误
round(cbind(estimates, se_est,
lower = estimates - 1.96 * se_est,
upper = estimates + 1.96 * se_est), 3)