首页 Math 概率论

# 大数定律

设X1,X2,...,Xn...X_1,X_2,...,X_n... 是一列随机变量，记Xn‾=1n∑i=1nXi,n=1,2,...\overline{X_n}=\frac{1}{n} \sum\limits_{i=1}^{n}X_i,n=1,2,...，若存在常数序列a1,a2,...,an,...a_1,a_2,...,a_n,... 使得对任意给定的ε>0\varepsilon>0，有

lim⁡n→∞P{∣Xn−an∣<ε}=1\lim_{n\to\infty}P\left\{|X_n-a_n|<\varepsilon\right\}=1

则称序列X1,X2,...,Xn...X_1,X_2,...,X_n... 服从大数分布

# 切比雪夫不等式

设X1,X2,...,Xn...X_1,X_2,...,X_n... 是互不相关（含相互独立）的随机变量，且具有相同的期望和方差：EXi=μ,DXi=σ2EX_i=\mu,DX_i=\sigma^2，则随机变量{Xn}\left\{X_n\right\} 服从大数定律，即对于任意ε>0\varepsilon >0，有

lim⁡n→∞P(∣Xn‾−μ∣<ε)=1\lim_{n\to\infty}P(|\overline{X_n}-\mu|<\varepsilon)=1

或等价地有

lim⁡n→∞P(∣Xn‾−μ∣≥ε)=0\lim_{n\to\infty}P(|\overline{X_n}-\mu|\geq\varepsilon)=0

# 辛钦大数定律

设X1,X2,...,Xn...X_1,X_2,...,X_n... 是独立同分布的随机变量序列，若期望EXn=μEX_n=\mu 有限，则对任意正数ε>0\varepsilon>0，有

lim⁡n→∞P(∣Xn‾−μ∣<ε)=1\lim_{n\to\infty}P(|\overline{X_n}-\mu|<\varepsilon)=1

或

lim⁡n→∞P(∣Xn‾−μ∣≥ε)=0\lim_{n\to\infty}P(|\overline{X_n}-\mu|\geq\varepsilon)=0

（与切比雪夫不同的是辛钦大数定律不需要要求方差存在）

# 伯努利大数定律

设nAn_A 是nn 次独立重复试验中时间 A 发生的次数，pp 是每次试验中事件AA 发生的概率，则对于任给正数ε>0\varepsilon>0，有

lim⁡n→∞P(∣nAn−p∣<ε)=1\lim_{n\to\infty} P(|\frac{n_A}{n}-p|<\varepsilon)=1

或

lim⁡n→∞P(∣nAn−p∣≥ε)=0\lim_{n\to\infty} P(|\frac{n_A}{n}-p|\geq \varepsilon)=0

# 中心极限定理

# 列维 - 林德伯格中心极限定理（独立同分布）

设随机变量X1,X2,...,Xn...X_1,X_2,...,X_n... 相互独立，服从同一分布，且具有数学期望和方差：EXi=μ,DXi=σ2EX_i=\mu,DX_i=\sigma^2，则随机变量之和∑i=1nXi\sum\limits_{i=1}^nX_i 的标准化随机变量

Yn=∑i=1nXi−E(∑i=1nXi)D(∑i=1nXi)=∑i=1nXi−nμσnY_n=\frac{\sum\limits_{i=1}^nX_i-E(\sum\limits_{i=1}^nX_i)}{\sqrt{D(\sum\limits_{i=1}^nX_i)}}=\frac{\sum\limits_{i=1}^nX_i-n\mu}{\sigma\sqrt{n}}

的分布函数处处收敛于标准正态分布函数，即对任意 x，有

lim⁡n→∞P(∑i=1nXi−nμσn≤x)=12π∫−∞xe−t22dt=Φ(x)\lim_{n\to\infty}P(\frac{\sum\limits_{i=1}^nX_i-n\mu}{\sigma\sqrt{n}}\leq x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^2}{2}}dt=\Phi(x)

即当 n 充分大时

Yn=∑i=1nXi−nμσn∼N(0,1)Y_n=\frac{\sum\limits_{i=1}^nX_i-n\mu}{\sigma\sqrt{n}}\sim N(0,1)

或等价地

∑i=1nXi=nσ⋅Yn+nμ∼N(nμ,nσ2)\sum\limits_{i=1}^nX_i=\sqrt{n}\sigma\cdot Y_n+n\mu\sim N(n\mu,n\sigma^2)

更一般的结论

a∑i=1nXi+b∼N(a⋅nμ+b,a2⋅nσ2)a\sum\limits_{i=1}^nX_i+b\sim N(a\cdot n\mu+b,a^2\cdot n\sigma^2)

# 德莫夫 - 拉普拉斯中心极限定理

设在 n 重伯努利试验中，事件AA 在每次试验中出现的概率为pp，ηn\eta_n 为nn 次试验中事件 A 出现的次数，且服从二项分布B(n,p)B(n,p)，则ηn\eta_n 的标准化随机变量的分布函数处处收敛于正态分布的分布函数，即对∀x\forall x，有

lim⁡n→∞P(ηn−npnp(1−p)≤x)=12π∫−∞xe−t22dt\lim_{n\to\infty}P(\frac{\eta_n-np}{\sqrt{np(1-p)}}\leq x)=\frac{1}{\sqrt{2\pi}\int_{-\infty}^xe^{-\frac{t^2}{2}}}dt

即当 n 很大时

ηn−npnp(1−p)∼N(0,1)\frac{\eta_n-np}{\sqrt{np(1-p)}}\sim N(0,1)

或等价地

ηn∼N(np,np(1−p))\eta_n\sim N(np,{np(1-p)})

# 李雅普诺夫中心极限定理

设X1,X2,...,Xn...X_1,X_2,...,X_n... 是相互独立的随机变量序列，它们的期望和方差存在：EXi=μ,DXi=σ2EX_i=\mu,DX_i=\sigma^2，记Bn2=∑i=1nσi2B_n^2=\sum\limits_{i=1}^n\sigma_i^2，若存在δ>0\delta>0 使

1Bn2+δ∑i=1nE[∣Xi−μi∣2+δ]→0,n→∞\frac{1}{B_n^{2+\delta}}\sum\limits_{i=1}^nE[|X_i-\mu_i|^{2+\delta}]\to 0,n\to \infty

则随机变量之和∑i=1nXi\sum\limits_{i=1}^n X_i 的标准化随机变量

Zn=∑i=1nXi−E(∑i=1nXi)D(∑i=1nXi)=∑i=1nXi−∑i=1nμBnZ_n=\frac{\sum\limits_{i=1}^nX_i-E(\sum\limits_{i=1}^nX_i)}{\sqrt{D(\sum\limits_{i=1}^nX_i)}}=\frac{\sum\limits_{i=1}^nX_i-\sum\limits_{i=1}^n\mu}{B_n}

即当 n 充分大时

Yn=∑i=1nXi−∑i=1nμiBn∼N(0,1)Y_n=\frac{\sum\limits_{i=1}^nX_i-\sum\limits_{i=1}^n\mu_i}{B_n}\sim N(0,1)

或等价地

∑i=1nXi=Bn⋅Zn+∑i=1nμi∼N(∑i=1nμi,Bn2)\sum\limits_{i=1}^nX_i=B_n\cdot Z_n+\sum\limits\limits_{i=1}^n\mu_i\sim N(\sum\limits_{i=1}^n \mu_i,B_n^2)