首页 Math 概率论

# 参数估计概念

通常将总体参数的函数和总体数字特征统称为总体参数。参数估计问题就是利用样本对上述各类总体未知参数做出估计。

参数估计分为两种：点估计和区间估计

点估计：用一个数值来估计某个未知参数

设总体XX 的参数θ(θ\theta(\theta 可为向量))，记θ\theta 的所有可能取值所成的集合为参数空间Θ\Theta，用总体样本(X1,X2,...,Xn)(X_1,X_2,...,X_n) 构造统计量θ^=θ^(X1,X2,...,Xn)\hat \theta=\hat\theta (X_1,X_2,...,X_n) 来估计θ\theta

区间估计：对总体的待估参数，获得其值所在的一个范围，以一给定的概率相信该范围包含了该参数

# 矩估计法和极大似然估计法

# 矩估计法

以样本原点矩作为对应的总体原点矩的估计量，以样本原点矩的连续函数作为对应的总体原点矩的连续函数的估计量

矩估计法步骤：

设总体XX 是概率密度为f(x;θ1,...,θk)f(x;\theta_1,...,\theta_k) 的连续型随机变量，或总体XX 是分布列位P(X=x)=f(x;θ1,...,θk)P(X=x)=f(x;\theta_1,...,\theta_k) 的离散型随机变量，其中θ1,...,θk\theta_1,...,\theta_k 为待估参数

总体XX 的jj 阶矩为

αj=E(Xj)=∫−∞+∞xjf(x;θ1,...,θk)dx,(j=1,2,...,k)\alpha_j=E(X^j)=\int_{-\infty}^{+\infty}x^j f(x;\theta_1,...,\theta_k)dx,(j=1,2,...,k)

或

αj=E(Xj)=∑xjf(x;θ1,...,θk),(j=1,2,...,k)\alpha_j=E(X^j)=\sum x^j f(x;\theta_1,...,\theta_k),(j=1,2,...,k)

设(X1,X2,...,Xn)(X_1,X_2,...,X_n) 为取自总体XX 的样本，相应的样本jj 阶原点矩为

Aj=1n∑i=1nXij,(j=1,2,...,k)A_j=\frac{1}{n}\sum_{i=1}^{n}X_i^j,(j=1,2,...,k)

令XX 的jj 阶总体矩等于对应的样本矩，得kk 个方程

αj(θ1,...,θk)=Aj\alpha_j(\theta_1,...,\theta_k)=A_j

上述方程的解作为未知数θ1,...,θk\theta_1,...,\theta_k 的估计量

  1. 对任何总体而言，只要其期望、方差存在，则总体期望的矩估计为样本均值X‾\overline{X}，总体方差的矩估计为样本二阶中心矩\widetilde

    • 可推广到：总体的kk 阶中心矩的矩估计是对应的样本kk 阶中心矩

  2. 事件发生概率的矩估计是事件发生的频率

# 极大似然估计法

设总体XX 的概率密度为f(x;θ)f(x;\theta)，当XX 为离散型时，f(x;θ)=P(X=x;θ)f(x;\theta)=P(X=x;\theta)，(x1,..,xn)(x_1,..,x_n) 是总体样本X1,...,XnX_1,...,X_n 的一组观察值

似然函数：

L(θ)=L(x1,x2,...,xn;θ)=∏i=1nf(xi;θ)L(\theta)=L(x_1,x_2,...,x_n;\theta)=\prod_{i=1}^{n}f(x_i;\theta)

极大似然估计：

若存在θ^=θ^(x1,x2,...,xk)\hat{\theta}=\hat{\theta}(x_1,x_2,...,x_k)，使得

L(x1,x2,...,xk;θ^)=max⁡θ∈ΘL(x1,x2,...,xk;θ)L(x_1,x_2,...,x_k;\hat{\theta})=\max_{\theta\in\Theta}L(x_1,x_2,...,x_k;{\theta})

则称

θ^=θ^(x1,x2,...,xn)=(θ^1(x1,x2,...,xn),...,θ^k(x1,x2,...,xn))\hat{\theta}=\hat{\theta}(x_1,x_2,...,x_n)=(\hat{\theta}_1(x_1,x_2,...,x_n),...,\hat{\theta}_k(x_1,x_2,...,x_n))

为θ\theta 的极大似然估计量

极大似然估计值：

θ^=θ^(X1,X2,...,Xn)=(θ^1(X1,X2,...,Xn),...,θ^k(X1,X2,...,Xn))\hat{\theta}=\hat{\theta}(X_1,X_2,...,X_n)=(\hat{\theta}_1(X_1,X_2,...,X_n),...,\hat{\theta}_k(X_1,X_2,...,X_n))

若f(x,θ)f(x,\theta) 关于θ\theta 可微，θ^\hat\theta 可由方程①解得

∂L(θ)∂θi=0或ln⁡∂L(θ)∂θi=0−−①\frac{\partial L(\theta)}{\partial \theta_i}=0或\frac{\ln\partial L(\theta)}{\partial \theta_i}=0--①

若u=u(θ)u=u(\theta) 有唯一的反函数，且θ^\hat \theta 是θ\theta 的极大似然估计量，则u(θ^)u(\hat\theta) 是u(θ)u(\theta) 的极大似然估计量

# 估计量的评选标准

# 无偏性

要求估计量的数学期望等于参数的真值

设θ^=θ^(X1,X2,...,Xn)\hat{\theta}=\hat \theta(X_1,X_2,...,X_n) 是参数θ\theta 的估计量，若对于任意的θ∈Θ\theta\in\Theta，有

E(θ^)=θE(\hat\theta)=\theta

则称θ^\hat \theta 是θ\theta 的无偏估计量，记

bn=E(θ^)−θb_n=E(\hat\theta)-\theta

称bnb_n 为估计量θ^\hat\theta 的偏差

  • 若bn≠0b_n\neq 0，则称θ^\hat \theta 是θ\theta 的有偏估计量
  • 若bn=0b_n=0，则称θ^\hat \theta 是θ\theta 的渐进无偏估计量

实例

  1. 不论总体XX 服从什么分布，其样本kk 阶原点矩必是对应的总体kk 阶原点矩αk\alpha_k 的无偏估计，特别地，样本均值X‾\overline{X} 是总体均值E(X)E(X) 的无偏估计

  2. 样本方差S2=1n−1∑i=1n(Xi−X‾)2S^2=\frac{1}{n-1}\sum\limits_{i=1}^n(X_i-\overline{X})^2 是总体方差σ2\sigma^2 的无偏估计，但是样本标准差SS 不是总体标准差σ\sigma 的无偏估计

    总体方差σ2\sigma^2 的矩估计S^2=1n∑i=1n(Xi−X‾)2\hat S^2=\frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2 是有偏估计

  3. 若(X1,X2,...,Xn)(X_1,X_2,...,X_n) 是总体XX 的一个样本，则对于任意满足∑i=1nci=1\sum\limits_{i=1}^nc_i=1 的常数cic_i 而言，估计量∑i=1nciXi\sum\limits_{i=1}^nc_iX_i 总是总体期望E(X)E(X) 的无偏估计量

  4. 若θ^\hat \theta 是θ\theta 的无偏估计，对于θ\theta 的函数g(θ)g(\theta)，g(θ^)g(\hat\theta) 不一定是g(θ)g(\theta) 的无偏估计

# 有效性

设θ^1=θ^1(X1,X2,...,Xn)\hat\theta_1=\hat\theta_1(X_1,X_2,...,X_n) 与θ^2=θ^2(X1,X2,...,Xn)\hat\theta_2=\hat\theta_2(X_1,X_2,...,X_n) 都是待估参数θ\theta 的无偏估计，若有

D(θ^1)<D(θ^2)D(\hat\theta_1)<D(\hat \theta_2)

则称θ^1\hat\theta_1 较θ^2\hat\theta_2 有效

设θ^0(X1,X2,...,Xn)\hat\theta_0(X_1,X_2,...,X_n) 是参数θ\theta 的无偏估计量，若对θ\theta 的任一无偏估计量θ^(X1,X2,...,Xn)\hat\theta(X_1,X_2,...,X_n)，都有

D(θ^0)<D(θ^)D(\hat\theta_0)<D(\hat\theta)

则称θ^0\hat\theta_0 是θ\theta 的最小方差无偏估计量

# 一致性

设θ^(X1,X2,...,Xn)\hat\theta(X_1,X_2,...,X_n) 为参数θ\theta 的估计量，若对任意的θ∈Θ\theta\in\Theta 及任意的ε>0\varepsilon >0，有

lim⁡n→∞P(∣θ^(X1,X2,...,Xn)−θ∣≤ε)=1\lim_{n\to\infty}P(|\hat\theta(X_1,X_2,...,X_n)-\theta|\leq \varepsilon)=1

则称θ^(X1,X2,...,Xn)\hat\theta(X_1,X_2,...,X_n) 为θ\theta 的一致估计量

总体原点矩的连续函数u=g(α1,α2,...,αk)u=g(\alpha_1,\alpha_2,...,\alpha_k) 的矩估计u^=g(A1,A2,...,Ak)\hat u=g(A_1,A_2,...,A_k)（其中Ak=1n∑i=1nXikA_k=\frac{1}{n}\sum\limits_{i=1}^n X_i^k）是一致估计量；在一定条件下，待估参数的极大似然估计量也具有一致性。

# 区间估计

# 区间估计的概念

设总体XX 的分布函数为F(x,θ)F(x,\theta)，其中θ\theta 是未知参数，(X1,X2,...,Xn)(X_1,X_2,...,X_n) 为XX 的样本，给定α(0<α<1)\alpha(0<\alpha<1)，若统计量θ‾=θ‾(X1,X2,...,Xn)\underline{\theta}=\underline{\theta}(X_1,X_2,...,X_n) 和θ‾=θ‾(X1,X2,...,Xn)\overline{\theta}=\overline{\theta}(X_1,X_2,...,X_n) 满足

P(θ‾<θ<θ‾)=1−αP(\underline\theta<\theta<\overline\theta)=1-\alpha

则称区间(θ‾,θ‾)(\underline\theta,\overline\theta) 是参数θ\theta 的置信水平为1−α1-\alpha 的置信区间

# 单个正态总体均值的区间估计

# σ2\sigma^2 已知情形

μ\mu 的置信水平为1−α1-\alpha 的置信区间为

(X‾−σnuα/2,X‾+σnuα/2)(\overline X-\frac{\sigma}{\sqrt n}u_{\alpha/2},\overline X+\frac{\sigma}{\sqrt n}u_{\alpha/2})

误差 / 置信区间长度为：

2σnuα/2\frac{2\sigma}{\sqrt n}u_{\alpha/2}

  • 对于给定α\alpha，区间长度ll 随 n 的增大而减小
  • 对于给定的 n，区间长度ll 随α\alpha 的减小而增大

# σ2\sigma^2 未知情形

μ\mu 的置信水平为1−α1-\alpha 的置信区间为

(X‾−Sntα/2(n−1),X‾+Snuα/2(n−1))(\overline X-\frac{S}{\sqrt n}t_{\alpha/2}(n-1),\overline X+\frac{S}{\sqrt n}u_{\alpha/2}(n-1))

求得的置信区间长度最短

# 单个正态总体方差的区间估计

# μ\mu 未知的情况

σ2\sigma^2 的置信水平为1−α1-\alpha 的置信区间为

((n−1)S2χα/22(n−1),(n−1)S2χ1−α/22(n−1))(\frac{(n-1)S^2}{\chi_{\alpha/2}^2(n-1)},\frac{(n-1)S^2}{\chi_{1-\alpha/2}^2(n-1)})

标准差σ\sigma 的置信水平为1−α1-\alpha 的置信区间为

((n−1)S2χα/22(n−1),(n−1)S2χ1−α/22(n−1))(\sqrt\frac{(n-1)S^2}{\chi_{\alpha/2}^2(n-1)},\sqrt\frac{(n-1)S^2}{\chi_{1-\alpha/2}^2(n-1)})

对于概率密度曲线不对称的情况，如χ2\chi^2 分布和FF 分布，习惯上扔取对称的分位点，但是置信区间长度不是最短的

# 两个正态总体均值差的区间估计

# σ12\sigma_1^2 和σ22\sigma_2^2 均为已知

μ1−μ2\mu_1-\mu_2 的置信水平为1−α1-\alpha 的置信区间为

(X‾−Y‾−σ12n1+σ22n2uα/2,X‾−Y‾+σ12n1+σ22n2uα/2)(\overline X-\overline Y-\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}u_{\alpha/2},\overline X-\overline Y+\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}u_{\alpha/2})

# σ12\sigma_1^2 和σ22\sigma_2^2 均为未知，但σ12=σ22=σ2\sigma_1^2=\sigma_2^2=\sigma^2

μ1−μ2\mu_1-\mu_2 的置信水平为1−α1-\alpha 的置信区间为

(X‾−Y‾−tα/2(n1+n2−2)Sw1n1+1n2,X‾−Y‾+tα/2(n1+n2−2)Sw1n1+1n2)(\overline X-\overline Y-t_{\alpha/2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}},\overline X-\overline Y+t_{\alpha/2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}})

其中S_w=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}

# 两个正态总体方差比的区间估计

# μ1\mu_1 和μ2\mu_2 均未知的情况

σ12σ22\frac{\sigma_1^2}{\sigma_2^2} 的置信水平为1−α1-\alpha 的置信区间为

(S12S221Fα/2(n1−1,n2−1),S12S221F1−α/2(n1−1,n2−1))(\frac{S_1^2}{S_2^2}\frac{1}{F_{\alpha/2}(n_1-1,n_2-1)},\frac{S_1^2}{S_2^2}\frac{1}{F_{1-\alpha/2}(n_1-1,n_2-1)})

# 单侧置信区间

设总体XX 的分布函数为F(x,θ)F(x,\theta)，其中θ\theta 是未知参数，(X1,X2,...,Xn)(X_1,X_2,...,X_n) 为XX 的样本，给定α(0<α<1)\alpha(0<\alpha<1)，若统计量θ‾=θ‾(X1,X2,...,Xn)\underline{\theta}=\underline{\theta}(X_1,X_2,...,X_n)

P(θ>θ‾)=1−αP(\theta>\underline\theta)=1-\alpha

则称区间(θ‾,+∞)(\underline\theta,+\infty) 是参数θ\theta 的置信水平为1−α1-\alpha 的单侧置信区间

将α/2\alpha/2 改成α\alpha 即可