第 5 章/参数估计
课堂实验室
CHAPTER 05 / 5.3

Delta 方法

参数的函数 g(θ^)g(\hat\theta) 的方差:∇g⊤ Σ ∇g\nabla g^{\top}\,\Sigma\,\nabla g。

5.2 给出了参数估计 θ^\hat\theta 的方差。但我们真正关心的常常是参数的函数 g(θ)g(\theta):分布的均值、超过某个金额的概率、VaR……用 g(θ^)g(\hat\theta) 来估计它很自然,Delta 方法回答的是:g(θ^)g(\hat\theta) 的方差是多少?

4000 个样本量为 20 的样本各自算出的 g(θ̂),与 Delta 方法的正态近似

密度
4000 次模拟的估计值正态近似
估计值 g(θ^)g(\hat\theta)1,215.74
Delta 方法的标准误529.49
模拟估计值的标准差609.8
95% 置信区间177.93 ~ 2,253.55
Delta 方法把 gg 在 θ^\hat\theta 附近换成切线(一阶泰勒展开),线性函数的方差就好算了。n=20n=20 时 σ^\hat\sigma 的波动范围很宽,eμ+σ2/2e^{\mu+\sigma^2/2} 在这个范围内弯得厉害:直方图明显右偏,正态近似甚至给负值留了概率。把 nn 调大,θ^\hat\theta 集中到切点附近,切线与曲线几乎重合,近似才变好。

例题 1:指数分布的 P(X > 200)

用指数分布拟合数据集 B,θ^=xˉ=1,424.4\hat\theta=\bar x=1{,}424.4,且 Var(Xˉ)=θ2/n\mathrm{Var}(\bar X)=\theta^2/n。要估计的是
p=g(θ)=e−200/θ,g′(θ)=200 θ−2e−200/θp=g(\theta)=e^{-200/\theta},\qquad g'(\theta)=200\,\theta^{-2}e^{-200/\theta}
p^=e−200/1424.4=0.869Var^(p^)=g′(θ^)2 θ^2n=40,000 θ^−2e−400/θ^20=0.0007444\begin{aligned}\hat p&=e^{-200/1424.4}=0.869\\\widehat{\mathrm{Var}}(\hat p)&=g'(\hat\theta)^2\,\frac{\hat\theta^2}{n}=\frac{40{,}000\,\hat\theta^{-2}e^{-400/\hat\theta}}{20}=0.0007444\end{aligned}
标准误 0.02730.0273,95% 置信区间 0.869±0.05350.869\pm0.0535。

例题 2:对数正态的均值

g(μ,σ)=eμ+σ2/2,∂g∂μ=g,∂g∂σ=σgg(\mu,\sigma)=e^{\mu+\sigma^2/2},\qquad\frac{\partial g}{\partial\mu}=g,\qquad\frac{\partial g}{\partial\sigma}=\sigma g
在 μ^=6.1379\hat\mu=6.1379、σ^=1.3894\hat\sigma=1.3894 处,两个偏导数是 1,215.741{,}215.74 和 1,689.161{,}689.16。夹上 5.2 的协方差矩阵:
[1215.741689.16][0.0965000.0483][1215.741689.16]=280,364\begin{aligned}&\begin{bmatrix}1215.74&1689.16\end{bmatrix}\begin{bmatrix}0.0965&0\\0&0.0483\end{bmatrix}\begin{bmatrix}1215.74\\1689.16\end{bmatrix}\\[4pt]&=280{,}364\end{aligned}
(课件用四舍五入后的数相乘,得 280,444。)标准误 529.5529.5,95% 置信区间 1,215.7±1,037.81{,}215.7\pm1{,}037.8。区间这么宽,说明 20 个观测对均值的约束很弱。
Delta 方法的定理与证明展开阅读
一元情形:设 gg 在 θ0\theta_0 处可导且 g′(θ0)≠0g'(\theta_0)\ne0。如果 n(θ^−θ0)→N(0,v(θ0))\sqrt n(\hat\theta-\theta_0)\to N(0,v(\theta_0)),那么
n (g(θ^)−g(θ0))→N(0,  g′(θ0)2 v(θ0))\sqrt n\,\big(g(\hat\theta)-g(\theta_0)\big)\to N\big(0,\;g'(\theta_0)^2\,v(\theta_0)\big)
证明思路:在 θ0\theta_0 处做一阶泰勒展开 g(θ^)≈g(θ0)+(θ^−θ0)g′(θ0)g(\hat\theta)\approx g(\theta_0)+(\hat\theta-\theta_0)g'(\theta_0),于是 n(g(θ^)−g(θ0))≈n(θ^−θ0) g′(θ0)\sqrt n(g(\hat\theta)-g(\theta_0))\approx\sqrt n(\hat\theta-\theta_0)\,g'(\theta_0);均值为 0 的正态变量乘以常数 cc,方差乘以 c2c^2。

多元情形把导数换成梯度,把方差换成协方差矩阵:

Var(g(θ^))≈∇g(θ^)⊤  I(θ^)−1  ∇g(θ^)\mathrm{Var}\big(g(\hat{\boldsymbol\theta})\big)\approx\nabla g(\hat{\boldsymbol\theta})^{\top}\;\mathcal I(\hat{\boldsymbol\theta})^{-1}\;\nabla g(\hat{\boldsymbol\theta})
对应课件的 R 代码展开阅读

接着上一节 optim 的结果,用 Hessian 矩阵的负逆作为协方差矩阵。

mu_est <- mlognormal$par[1]
sigma_est <- mlognormal$par[2]
Hessian <- mlognormal$hessian

# g(θ) 及其一阶偏导数
g <- exp(mu_est + 0.5 * sigma_est^2)
g_dev <- c(g, sigma_est * g)
Cov <- solve(-Hessian)              # 协方差矩阵
var_mean <- t(g_dev) %*% Cov %*% g_dev
var_mean                            # 均值估计的渐近方差
g + c(-1.96, 1.96) * sqrt(c(var_mean))

# 例题 1:指数分布
theta <- mean(x); n <- length(x)
p <- exp(-200 / theta)
(200 / theta^2 * p)^2 * theta^2 / n   # 0.0007444