参数估计概念

通常将总体参数的函数和总体数字特征统称为总体参数。参数估计问题就是利用样本对上述各类总体未知参数做出估计。

参数估计分为两种：点估计和区间估计

点估计：用一个数值来估计某个未知参数

设总体\(X\)的参数\(\theta(\theta\)可为向量\()\)，记\(\theta\)的所有可能取值所成的集合为参数空间\(\Theta\)，用总体样本\((X_1,X_2,...,X_n)\)构造统计量\(\hat \theta=\hat\theta (X_1,X_2,...,X_n)\)来估计\(\theta\)

区间估计：对总体的待估参数，获得其值所在的一个范围，以一给定的概率相信该范围包含了该参数

矩估计法和极大似然估计法

矩估计法

以样本原点矩作为对应的总体原点矩的估计量，以样本原点矩的连续函数作为对应的总体原点矩的连续函数的估计量

矩估计法步骤：

设总体\(X\)是概率密度为\(f(x;\theta_1,...,\theta_k)\)的连续型随机变量，或总体\(X\)是分布列位\(P(X=x)=f(x;\theta_1,...,\theta_k)\)的离散型随机变量，其中\(\theta_1,...,\theta_k\)为待估参数

总体\(X\)的\(j\)阶矩为 \[ \alpha_j=E(X^j)=\int_{-\infty}^{+\infty}x^j f(x;\theta_1,...,\theta_k)dx,(j=1,2,...,k) \] 或 \[ \alpha_j=E(X^j)=\sum x^j f(x;\theta_1,...,\theta_k),(j=1,2,...,k) \] 设\((X_1,X_2,...,X_n)\)为取自总体\(X\)的样本，相应的样本\(j\)阶原点矩为 \[ A_j=\frac{1}{n}\sum_{i=1}^{n}X_i^j,(j=1,2,...,k) \] 令\(X\)的\(j\)阶总体矩等于对应的样本矩，得\(k\)个方程 \[ \alpha_j(\theta_1,...,\theta_k)=A_j \] 上述方程的解作为未知数\(\theta_1,...,\theta_k\)的估计量

对任何总体而言，只要其期望、方差存在，则总体期望的矩估计为样本均值\(\overline{X}\)，总体方差的矩估计为样本二阶中心矩\(\widetilde{S^2}\)
- 可推广到：总体的\(k\)阶中心矩的矩估计是对应的样本\(k\)阶中心矩
事件发生概率的矩估计是事件发生的频率

极大似然估计法

设总体\(X\)的概率密度为\(f(x;\theta)\)，当\(X\)为离散型时，\(f(x;\theta)=P(X=x;\theta)\)，\((x_1,..,x_n)\)是总体样本\(X_1,...,X_n\)的一组观察值

似然函数： \[ L(\theta)=L(x_1,x_2,...,x_n;\theta)=\prod_{i=1}^{n}f(x_i;\theta) \] 极大似然估计：

若存在\(\hat{\theta}=\hat{\theta}(x_1,x_2,...,x_k)\)，使得 \[ L(x_1,x_2,...,x_k;\hat{\theta})=\max_{\theta\in\Theta}L(x_1,x_2,...,x_k;{\theta}) \] 则称 \[ \hat{\theta}=\hat{\theta}(x_1,x_2,...,x_n)=(\hat{\theta}_1(x_1,x_2,...,x_n),...,\hat{\theta}_k(x_1,x_2,...,x_n)) \] 为\(\theta\)的极大似然估计量

极大似然估计值： \[ \hat{\theta}=\hat{\theta}(X_1,X_2,...,X_n)=(\hat{\theta}_1(X_1,X_2,...,X_n),...,\hat{\theta}_k(X_1,X_2,...,X_n)) \] 若\(f(x,\theta)\)关于\(\theta\)可微，\(\hat\theta\)可由方程①解得 \[ \frac{\partial L(\theta)}{\partial \theta_i}=0或\frac{\ln\partial L(\theta)}{\partial \theta_i}=0--① \] 若\(u=u(\theta)\)有唯一的反函数，且\(\hat \theta\)是\(\theta\)的极大似然估计量，则\(u(\hat\theta)\)是\(u(\theta)\)的极大似然估计量

估计量的评选标准

无偏性

要求估计量的数学期望等于参数的真值

设\(\hat{\theta}=\hat \theta(X_1,X_2,...,X_n)\)是参数\(\theta\)的估计量，若对于任意的\(\theta\in\Theta\)，有 \[ E(\hat\theta)=\theta \] 则称\(\hat \theta\)是\(\theta\)的无偏估计量，记 \[ b_n=E(\hat\theta)-\theta \] 称\(b_n\)为估计量\(\hat\theta\)的偏差

若\(b_n\neq 0\)，则称\(\hat \theta\)是\(\theta\)的有偏估计量
若\(b_n=0\)，则称\(\hat \theta\)是\(\theta\)的渐进无偏估计量

实例

不论总体\(X\)服从什么分布，其样本\(k\)阶原点矩必是对应的总体\(k\)阶原点矩\(\alpha_k\)的无偏估计，特别地，样本均值\(\overline{X}\)是总体均值\(E(X)\)的无偏估计
样本方差\(S^2=\frac{1}{n-1}\sum\limits_{i=1}^n(X_i-\overline{X})^2\)是总体方差\(\sigma^2\)的无偏估计，但是样本标准差\(S\)不是总体标准差\(\sigma\)的无偏估计

总体方差\(\sigma^2\)的矩估计\(\hat S^2=\frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2\)是有偏估计
若\((X_1,X_2,...,X_n)\)是总体\(X\)的一个样本，则对于任意满足\(\sum\limits_{i=1}^nc_i=1\)的常数\(c_i\)而言，估计量\(\sum\limits_{i=1}^nc_iX_i\)总是总体期望\(E(X)\)的无偏估计量
若\(\hat \theta\)是\(\theta\)的无偏估计，对于\(\theta\)的函数\(g(\theta)\)，\(g(\hat\theta)\)不一定是\(g(\theta)\)的无偏估计

有效性

设\(\hat\theta_1=\hat\theta_1(X_1,X_2,...,X_n)\)与\(\hat\theta_2=\hat\theta_2(X_1,X_2,...,X_n)\)都是待估参数\(\theta\)的无偏估计，若有 \[ D(\hat\theta_1)<D(\hat \theta_2) \] 则称\(\hat\theta_1\)较\(\hat\theta_2\)有效

设\(\hat\theta_0(X_1,X_2,...,X_n)\)是参数\(\theta\)的无偏估计量，若对\(\theta\)的任一无偏估计量\(\hat\theta(X_1,X_2,...,X_n)\)，都有 \[ D(\hat\theta_0)<D(\hat\theta) \] 则称\(\hat\theta_0\)是\(\theta\)的最小方差无偏估计量

一致性

设\(\hat\theta(X_1,X_2,...,X_n)\)为参数\(\theta\)的估计量，若对任意的\(\theta\in\Theta\)及任意的\(\varepsilon >0\)，有 \[ \lim_{n\to\infty}P(|\hat\theta(X_1,X_2,...,X_n)-\theta|\leq \varepsilon)=1 \] 则称\(\hat\theta(X_1,X_2,...,X_n)\)为\(\theta\)的一致估计量

总体原点矩的连续函数\(u=g(\alpha_1,\alpha_2,...,\alpha_k)\)的矩估计\(\hat u=g(A_1,A_2,...,A_k)\)（其中\(A_k=\frac{1}{n}\sum\limits_{i=1}^n X_i^k\)）是一致估计量；在一定条件下，待估参数的极大似然估计量也具有一致性。

区间估计

区间估计的概念

设总体\(X\)的分布函数为\(F(x,\theta)\)，其中\(\theta\)是未知参数，\((X_1,X_2,...,X_n)\)为\(X\)的样本，给定\(\alpha(0<\alpha<1)\)，若统计量\(\underline{\theta}=\underline{\theta}(X_1,X_2,...,X_n)\)和\(\overline{\theta}=\overline{\theta}(X_1,X_2,...,X_n)\)满足 \[ P(\underline\theta<\theta<\overline\theta)=1-\alpha \] 则称区间\((\underline\theta,\overline\theta)\)是参数\(\theta\)的置信水平为\(1-\alpha\)的置信区间

单个正态总体均值的区间估计

\(\sigma^2\)已知情形

\(\mu\)的置信水平为\(1-\alpha\)的置信区间为 \[ (\overline X-\frac{\sigma}{\sqrt n}u_{\alpha/2},\overline X+\frac{\sigma}{\sqrt n}u_{\alpha/2}) \] 误差/置信区间长度为： \[ \frac{2\sigma}{\sqrt n}u_{\alpha/2} \]

对于给定\(\alpha\)，区间长度\(l\)随n的增大而减小
对于给定的n，区间长度\(l\)随\(\alpha\)的减小而增大

\(\sigma^2\)未知情形

\(\mu\)的置信水平为\(1-\alpha\)的置信区间为 \[ (\overline X-\frac{S}{\sqrt n}t_{\alpha/2}(n-1),\overline X+\frac{S}{\sqrt n}u_{\alpha/2}(n-1)) \] 求得的置信区间长度最短

单个正态总体方差的区间估计

\(\mu\)未知的情况

\(\sigma^2\)的置信水平为\(1-\alpha\)的置信区间为 \[ (\frac{(n-1)S^2}{\chi_{\alpha/2}^2(n-1)},\frac{(n-1)S^2}{\chi_{1-\alpha/2}^2(n-1)}) \] 标准差\(\sigma\)的置信水平为\(1-\alpha\)的置信区间为 \[ (\sqrt\frac{(n-1)S^2}{\chi_{\alpha/2}^2(n-1)},\sqrt\frac{(n-1)S^2}{\chi_{1-\alpha/2}^2(n-1)}) \] 对于概率密度曲线不对称的情况，如\(\chi^2\)分布和\(F\)分布，习惯上扔取对称的分位点，但是置信区间长度不是最短的

两个正态总体均值差的区间估计

\(\sigma_1^2\)和\(\sigma_2^2\)均为已知

\(\mu_1-\mu_2\)的置信水平为\(1-\alpha\)的置信区间为 \[ (\overline X-\overline Y-\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}u_{\alpha/2},\overline X-\overline Y+\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}u_{\alpha/2}) \]

\(\sigma_1^2\)和\(\sigma_2^2\)均为未知，但\(\sigma_1^2=\sigma_2^2=\sigma^2\)

\(\mu_1-\mu_2\)的置信水平为\(1-\alpha\)的置信区间为 \[ (\overline X-\overline Y-t_{\alpha/2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}},\overline X-\overline Y+t_{\alpha/2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}) \] 其中\(S_w=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}\)

两个正态总体方差比的区间估计

\(\mu_1\)和\(\mu_2\)均未知的情况

\(\frac{\sigma_1^2}{\sigma_2^2}\)的置信水平为\(1-\alpha\)的置信区间为 \[ (\frac{S_1^2}{S_2^2}\frac{1}{F_{\alpha/2}(n_1-1,n_2-1)},\frac{S_1^2}{S_2^2}\frac{1}{F_{1-\alpha/2}(n_1-1,n_2-1)}) \]

单侧置信区间

设总体\(X\)的分布函数为\(F(x,\theta)\)，其中\(\theta\)是未知参数，\((X_1,X_2,...,X_n)\)为\(X\)的样本，给定\(\alpha(0<\alpha<1)\)，若统计量\(\underline{\theta}=\underline{\theta}(X_1,X_2,...,X_n)\) \[ P(\theta>\underline\theta)=1-\alpha \] 则称区间\((\underline\theta,+\infty)\)是参数\(\theta\)的置信水平为\(1-\alpha\)的单侧置信区间