第 2 章/极值理论/2.3 超越阈值建模
课堂实验室
CHAPTER 02 / 2.3 超越阈值建模 / 2.3.4

Hill 估计

用最大的 k 个观测估计尾部指数,并权衡偏差与方差。

Hill 图:α^k\hat\alpha_k 随 kk 的变化

尾部指数估计 α^k\hat\alpha_k
本次样本的 α^k\hat\alpha_k
选择 k

用最大的 kk 个观测估计尾部指数

2999
α^=1.674\hat\alpha=1.674

对数—对数图:Hill 估计就是尾部直线的斜率

P(X>x)P(X>x)(对数刻度)
经验生存函数 i/ni/n真实 S(x)S(x)斜率 −α^k-\hat\alpha_k 的直线(k=100k=100)

当前 k=100k=100

α^k\hat\alpha_k1.6735
ξ^=1/α^k\hat\xi=1/\hat\alpha_k0.5975
阈值 x(k)x_{(k)}1.9946
真实 α\alpha2

红线从第 kk 大的观测 x(k)x_{(k)} 出发,以斜率 −α^k-\hat\alpha_k 向右延伸:S(x)≈kn(x/x(k))−α^kS(x)\approx\frac{k}{n}\big(x/x_{(k)}\big)^{-\hat\alpha_k}。

kk 小时只用到极少的尾部观测,估计波动大;kk 大时把非尾部的观测也算进来,α^k\hat\alpha_k 系统地偏离真实值。在 Hill 图中寻找比较平稳的区间来选 kk。
与 2.3.2 连起来

对超越阈值的数据画 Hill 图,与 GPD 的 ξ^\hat\xi 比较

在 2.3.2 中查看这组数据 →

与 2.3.2 使用同一个数据生成器:相同的来源、年数、阈值与随机种子给出同一份日数据。课件对超额 y=x−uy=x-u 调用 evir::hill(exceed);这里同时对原始尺度上超过 uu 的观测 xx 计算 Hill 估计,二者用的是同一批日子。纵轴为 ξ^k=1/α^k\hat\xi_k=1/\hat\alpha_k,便于与 GPD 比较。

模拟数据来源
观测年数(每年 365 天)
0.80.995

K=365K=365 个超额上的 Hill 图:ξ^k=1/α^k\hat\xi_k=1/\hat\alpha_k

形状估计 ξ^k=1/α^k\hat\xi_k=1/\hat\alpha_k
Hill:超额 y=x−uy=x-u(课件做法)Hill:超过 uu 的原始观测 xxGPD 极大似然 ξ^=0.304\hat\xi=0.304真实极限 ξ=0.25\xi=0.25
2365
Hill ξ^k\hat\xi_k:超额 yy0.567
Hill ξ^k\hat\xi_k:原始 xx0.31
GPD ξ^\hat\xi(u=18.97u=18.97)0.304
真实极限 ξ\xi0.25

两条 Hill 曲线估计的是同一个尾部指数,但对超额 yy 的估计随 kk 上升得很快:yy 越接近 0,log⁡y\log y 越小,1/α^k1/\hat\alpha_k 被拉大。只在较小的 kk 上,它才接近 GPD 的 ξ^\hat\xi。对原始观测 xx 的 Hill 曲线平稳得多,与 GPD 的 ξ^\hat\xi 相近时,可以印证阈值与 ξ^\hat\xi 的选择;但 Lomax 这类只在远端近似幂律的分布(xx 与 θ\theta 相比不够大),平台本身也会偏离真实值。

Hill 估计量展开阅读
α^jH=(1n−j+1∑k=jnlog⁡x(k)−log⁡x(j))−1,x(1)≤⋯≤x(n)\hat\alpha^H_j=\Big(\frac{1}{n-j+1}\sum_{k=j}^{n}\log x_{(k)}-\log x_{(j)}\Big)^{-1},\qquad x_{(1)}\le\dots\le x_{(n)}

页面的横轴 k=n−j+1k=n-j+1 表示用到的最大观测个数(与 evir::hill 的横轴一致):1/α^k1/\hat\alpha_k 是最大 kk 个观测的对数与第 kk 大观测的对数之差的平均。

若 S(x)≈Cx−αS(x)\approx Cx^{-\alpha},则在阈值 x(k)x_{(k)} 之上,log⁡(X/x(k))\log\big(X/x_{(k)}\big) 近似服从均值为 1/α1/\alpha 的指数分布,Hill 估计量就是这个均值的样本版本。这也是它对应“对数—对数图上尾部直线斜率”的原因。

Hill 估计量只适用于 ξ=1/α>0\xi=1/\alpha>0 的重尾,并且对平移敏感:XX 与 X−cX-c 的尾部指数相同,但有限样本下的 α^k\hat\alpha_k 不同。GPD 的极大似然估计直接为超额建模,可以给出任意符号的 ξ^\hat\xi。两种方法互相印证:Hill 图的平台与 GPD 的 ξ^\hat\xi 接近时,对尾部形状的判断更可靠。