第 5 章/参数估计
课堂实验室
CHAPTER 05 / 5.1

极大似然估计:点估计

调 μ\mu 与 σ\sigma,让对数似然 ℓ(μ,σ)=∑ln⁡f(xj)\ell(\mu,\sigma)=\sum\ln f(x_j) 尽可能大。

已经有了 20 笔赔款,要用对数正态分布来描述它们,参数 μ\mu、σ\sigma 该取多少?极大似然估计的回答是:取让这组样本“最可能出现”的那一对参数,也就是让似然函数 L(θ)=∏jf(xj;θ)L(\theta)=\prod_j f(x_j;\theta) 最大的 θ^\hat\theta。把对数似然看成 (μ,σ)(\mu,\sigma) 平面上的一座山,极大似然估计就是山顶。
4567811.522.53μσ
颜色越深,对数似然越高✕山顶(极大似然估计)当前参数,箭头指向上坡

似然 = 各点高度的乘积

ln x 的正态密度
当前参数下 ln x 的密度山顶(极大似然估计)的密度
对数似然 ℓ(μ,σ)\ell(\mu,\sigma)-173.389
离山顶还差15.675
μ\mu 方向的坡度 ∂ℓ/∂μ\partial\ell/\partial\mu22.758
σ\sigma 方向的坡度 ∂ℓ/∂σ\partial\ell/\partial\sigma44.504
左图的点每移动一下,右图的密度曲线就跟着变,20 个点的高度相乘就是似然。现在离山顶还差 15.67:μ\mu 方向的坡度为正,应当增大 μ\mu;σ\sigma 方向的坡度为正,应当增大 σ\sigma。坡度(偏导数)为 0 的地方就是山顶。
课件例题:数据集 B 的手算过程展开阅读

20 笔工伤医疗赔款(全额损失,无免赔额与限额):

27,82,115,126,155,161,243,294,340,384,457,680,855,877,974,1193,1340,1884,2558,15743

∑j=120ln⁡xj=122.76,∑j=120(ln⁡xj−6.138)2=38.61\sum_{j=1}^{20}\ln x_j=122.76,\qquad\sum_{j=1}^{20}(\ln x_j-6.138)^2=38.61

对数正态分布的对数似然:

ℓ(μ,σ)=∑j=1n[−ln⁡xj−ln⁡σ−12ln⁡(2π)−(ln⁡xj−μ)22σ2]\ell(\mu,\sigma)=\sum_{j=1}^{n}\Big[-\ln x_j-\ln\sigma-\tfrac12\ln(2\pi)-\frac{(\ln x_j-\mu)^2}{2\sigma^2}\Big]
−ln⁡xj-\ln x_j 与参数无关,所以最大化 ℓ\ell 等价于让 ln⁡xj\ln x_j 的正态密度的乘积最大,这正是右图中各点高度的乘积。

令两个偏导数为 0:

∂ℓ∂μ=∑j=1nln⁡xj−μσ2=0∂ℓ∂σ=−nσ+∑j=1n(ln⁡xj−μ)2σ3=0\begin{aligned}\frac{\partial\ell}{\partial\mu}&=\sum_{j=1}^{n}\frac{\ln x_j-\mu}{\sigma^2}=0\\\frac{\partial\ell}{\partial\sigma}&=-\frac{n}{\sigma}+\sum_{j=1}^{n}\frac{(\ln x_j-\mu)^2}{\sigma^3}=0\end{aligned}

第一式给出 μ̂,代入第二式给出 σ̂:

μ^=1n∑j=1nln⁡xj=122.7620=6.1379σ^2=1n∑j=1n(ln⁡xj−μ^)2=38.6120=1.9305σ^=1.3894\begin{aligned}\hat\mu&=\frac1n\sum_{j=1}^n\ln x_j=\frac{122.76}{20}=6.1379\\\hat\sigma^2&=\frac1n\sum_{j=1}^n(\ln x_j-\hat\mu)^2=\frac{38.61}{20}=1.9305\\\hat\sigma&=1.3894\end{aligned}

这个估计有多准?见 5.2 Hessian 矩阵与方差估计。

似然函数的一般定义展开阅读
设第 jj 次观测到的事件是 AjA_j,它来自独立同分布的随机变量 XjX_j。似然函数是所有观测同时出现的概率,看作参数 θ\theta 的函数:
L(θ)=∏j=1nPr⁡(Xj∈Aj∣θ)L(\theta)=\prod_{j=1}^{n}\Pr(X_j\in A_j\mid\theta)
完整数据(每个 xjx_j 都被精确观察到)时,Pr⁡(Xj∈Aj)\Pr(X_j\in A_j) 换成密度 f(xj;θ)f(x_j;\theta)。乘积取对数变成求和,更容易求导,而且最大值点不变:
L(θ)=∏j=1nf(xj;θ),ℓ(θ)=ln⁡L(θ)=∑j=1nln⁡f(xj;θ)L(\theta)=\prod_{j=1}^{n}f(x_j;\theta),\qquad\ell(\theta)=\ln L(\theta)=\sum_{j=1}^{n}\ln f(x_j;\theta)
数据被截断或删失时(第 4 章),AjA_j 不再是一个点:例如被限额 uu 右删失的观测贡献 S(u;θ)S(u;\theta),免赔额 dd 以上才被记录的观测贡献 f(xj;θ)/S(d;θ)f(x_j;\theta)/S(d;\theta)。
对应课件的 R 代码展开阅读

fitdistrplus 包用数值优化求极大似然估计,结果与上面的闭式解一致。

x <- c(27, 82, 115, 126, 155, 161, 243, 294, 340, 384,
       457, 680, 855, 877, 974, 1193, 1340, 1884, 2558, 15743)

library(fitdistrplus)
mlognormal <- fitdist(data = x, distr = "lnorm", method = "mle",
                      start = list(meanlog = 6, sdlog = 0.5))
mlognormal$estimate   # 6.1379, 1.3894

# 页面当前参数下的对数似然
sum(dlnorm(x, meanlog = 5, sdlog = 1, log = TRUE))