第 5 章/参数估计
课堂实验室
CHAPTER 05 / 5.2

Hessian 矩阵与方差估计

对数似然在峰顶越弯,估计越准:Var^(θ^)=[−H(θ^)]−1\widehat{\mathrm{Var}}(\hat\theta)=[-H(\hat\theta)]^{-1}。

5.1 找到了对数似然的峰顶 θ^\hat\theta。峰顶越尖,稍微偏离 θ^\hat\theta 似然就明显下降,数据对参数的约束就越强,估计也就越准。“有多尖”由二阶导数(Hessian 矩阵)衡量,它的负逆矩阵就是 θ^\hat\theta 的方差估计。
55.566.5711.52μσ
颜色越深,对数似然越高✕山顶(极大似然估计)由 Hessian 画出的椭圆(各方向 ±1.96 标准误)500 个重复样本各自的估计值
信息 −∂2ℓ/∂μ2-\partial^2\ell/\partial\mu^210.36
标准误 1/信息\sqrt{1/\text{信息}}0.3107
模拟估计值的标准差0.3069
95% 置信区间5.529 ~ 6.747
把 nn 从 20 拖到 500:山顶的深色区域越缩越小,说明数据越多,稍微偏离 θ^\hat\theta 似然就掉得越快。Hessian 矩阵量的就是山顶的弯曲程度,由它画出的椭圆在 μ\mu 轴和 σ\sigma 轴上的投影正是两个 95% 置信区间。散点是换 500 批数据各自得到的估计值,它们散开的范围和椭圆一致:只看手里这一个样本的山顶形状,就能知道估计值会有多大的波动。n=20n=20 时深色区域并不是标准的椭圆(向 σ\sigma 大的一侧拖尾),所以这是大样本近似。
课件例题:Hessian 矩阵、方差与置信区间的计算展开阅读

二阶偏导数与 Hessian 矩阵

∂2ℓ∂μ2=−nσ2∂2ℓ∂μ ∂σ=−2∑j=1nln⁡xj−μσ3∂2ℓ∂σ2=nσ2−3∑j=1n(ln⁡xj−μ)2σ4\begin{aligned}\frac{\partial^2\ell}{\partial\mu^2}&=-\frac{n}{\sigma^2}\\\frac{\partial^2\ell}{\partial\mu\,\partial\sigma}&=-2\sum_{j=1}^n\frac{\ln x_j-\mu}{\sigma^3}\\\frac{\partial^2\ell}{\partial\sigma^2}&=\frac{n}{\sigma^2}-3\sum_{j=1}^n\frac{(\ln x_j-\mu)^2}{\sigma^4}\end{aligned}
在 (μ^,σ^)(\hat\mu,\hat\sigma) 处,∑(ln⁡xj−μ^)=0\sum(\ln x_j-\hat\mu)=0,∑(ln⁡xj−μ^)2=nσ^2\sum(\ln x_j-\hat\mu)^2=n\hat\sigma^2,所以
H(μ^,σ^)=[−nσ^200−2nσ^2]=[−10.3600−20.72]H(\hat\mu,\hat\sigma)=\begin{bmatrix}-\dfrac{n}{\hat\sigma^2}&0\\[6pt]0&-\dfrac{2n}{\hat\sigma^2}\end{bmatrix}=\begin{bmatrix}-10.36&0\\0&-20.72\end{bmatrix}

对角线以外是 0:μ̂ 与 σ̂ 渐近不相关。本例中观测信息 −H 在估计值处恰好等于 Fisher 信息。

方差估计与置信区间(数据集 B)

Var^(μ^,σ^)=[−H]−1=[σ^2n00σ^22n]=[0.0965000.0483]\begin{aligned}\widehat{\mathrm{Var}}(\hat\mu,\hat\sigma)=[-H]^{-1}&=\begin{bmatrix}\dfrac{\hat\sigma^2}{n}&0\\[6pt]0&\dfrac{\hat\sigma^2}{2n}\end{bmatrix}\\[4pt]&=\begin{bmatrix}0.0965&0\\0&0.0483\end{bmatrix}\end{aligned}

近似 95% 置信区间是估计值加减 1.96 倍标准误:

μ:6.1379±1.960.0965=6.1379±0.6089σ:1.3894±1.960.0483=1.3894±0.4306\begin{aligned}\mu:&\quad6.1379\pm1.96\sqrt{0.0965}=6.1379\pm0.6089\\\sigma:&\quad1.3894\pm1.96\sqrt{0.0483}=1.3894\pm0.4306\end{aligned}

我们更关心的往往是参数的函数(例如分布的均值),它的方差见 5.3 Delta 方法。

信息矩阵与极大似然估计的渐近正态性展开阅读
单个观测的对数密度记为 ℓ=ln⁡f(Y;θ)\ell=\ln f(Y;\theta)。在正则条件下,得分的期望为 0,且二阶导数的期望与得分平方的期望互为相反数:
E(dℓdθ)=0,E(d2ℓdθ2)+E[(dℓdθ)2]=0E\Big(\frac{d\ell}{d\theta}\Big)=0,\qquad E\Big(\frac{d^2\ell}{d\theta^2}\Big)+E\Big[\Big(\frac{d\ell}{d\theta}\Big)^2\Big]=0
证明:dℓdθ=1fdfdθ\frac{d\ell}{d\theta}=\frac1f\frac{df}{d\theta},所以 E(dℓdθ)=∫dfdθdy=ddθ∫f dy=0E\big(\frac{d\ell}{d\theta}\big)=\int\frac{df}{d\theta}dy=\frac{d}{d\theta}\int f\,dy=0;再对 ∫dℓdθf dy=0\int\frac{d\ell}{d\theta}f\,dy=0 求一次导,并用 dfdθ=dℓdθf\frac{df}{d\theta}=\frac{d\ell}{d\theta}f,即得第二式。

于是 Fisher 信息有两种等价写法;多个参数时它是一个矩阵:

I(θ)rs=−E[∂2ℓ(θ)∂θr ∂θs]=E[∂ℓ(θ)∂θr∂ℓ(θ)∂θs]\mathcal I(\theta)_{rs}=-E\Big[\frac{\partial^2\ell(\theta)}{\partial\theta_r\,\partial\theta_s}\Big]=E\Big[\frac{\partial\ell(\theta)}{\partial\theta_r}\frac{\partial\ell(\theta)}{\partial\theta_s}\Big]
当 n→∞n\to\infty 时,似然方程有解的概率趋于 1,并且 θ^n\hat\theta_n 渐近服从正态分布,均值为 θ\theta,协方差矩阵为 I(θ)−1\mathcal I(\theta)^{-1};因此极大似然估计渐近无偏且相合。
H(θ)rs=∂2ℓ(θ)∂θr ∂θs,I(θ)=−E[H(θ)],Iobserved(θ^)=−H(θ^)H(\theta)_{rs}=\frac{\partial^2\ell(\theta)}{\partial\theta_r\,\partial\theta_s},\qquad\mathcal I(\theta)=-E[H(\theta)],\qquad\mathcal I_{\text{observed}}(\hat\theta)=-H(\hat\theta)
期望信息需要对数据求期望,实际计算(R 中的 optim)用的是观测信息:把 Hessian 矩阵在 θ^\hat\theta 处的值直接取负再求逆。
对应课件的 R 代码展开阅读

optim 在最大化对数似然的同时用数值差分给出 Hessian 矩阵。

x <- c(27, 82, 115, 126, 155, 161, 243, 294, 340, 384,
       457, 680, 855, 877, 974, 1193, 1340, 1884, 2558, 15743)

LLlognormal <- function(x, pars) {
  sum(dlnorm(x, meanlog = pars[1], sdlog = pars[2], log = TRUE))
}
mlognormal <- optim(par = c(1, 2),          # 初始值
                    fn = LLlognormal, x = x,
                    hessian = TRUE,         # 输出 Hessian 矩阵
                    method = "Nelder-Mead",
                    control = list(fnscale = -1,   # -1 表示最大化
                                   maxit = 100000))

estimates <- mlognormal$par
Hessian <- mlognormal$hessian
var_est <- diag(solve(-Hessian))   # 估计量的方差
se_est <- sqrt(var_est)            # 标准误
round(cbind(estimates, se_est,
            lower = estimates - 1.96 * se_est,
            upper = estimates + 1.96 * se_est), 3)