大数定律和中心极限定理

大数定律

设\(X_1,X_2,...,X_n...\)是一列随机变量，记\(\overline{X_n}=\frac{1}{n} \sum\limits_{i=1}^{n}X_i,n=1,2,...\)，若存在常数序列\(a_1,a_2,...,a_n,...\)使得对任意给定的\(\varepsilon>0\)，有 \[ \lim_{n\to\infty}P\left\{|X_n-a_n|<\varepsilon\right\}=1 \] 则称序列\(X_1,X_2,...,X_n...\)服从大数分布

切比雪夫不等式

设\(X_1,X_2,...,X_n...\)是互不相关（含相互独立）的随机变量，且具有相同的期望和方差：\(EX_i=\mu,DX_i=\sigma^2\)，则随机变量\(\left\{X_n\right\}\)服从大数定律，即对于任意\(\varepsilon >0\)，有 \[ \lim_{n\to\infty}P(|\overline{X_n}-\mu|<\varepsilon)=1 \] 或等价地有 \[ \lim_{n\to\infty}P(|\overline{X_n}-\mu|\geq\varepsilon)=0 \]

辛钦大数定律

设\(X_1,X_2,...,X_n...\)是独立同分布的随机变量序列，若期望\(EX_n=\mu\)有限，则对任意正数\(\varepsilon>0\)，有 \[ \lim_{n\to\infty}P(|\overline{X_n}-\mu|<\varepsilon)=1 \] 或 \[ \lim_{n\to\infty}P(|\overline{X_n}-\mu|\geq\varepsilon)=0 \] （与切比雪夫不同的是辛钦大数定律不需要要求方差存在）

伯努利大数定律

设\(n_A\)是\(n\)次独立重复试验中时间A发生的次数，\(p\)是每次试验中事件\(A\)发生的概率，则对于任给正数\(\varepsilon>0\)，有 \[ \lim_{n\to\infty} P(|\frac{n_A}{n}-p|<\varepsilon)=1 \] 或 \[ \lim_{n\to\infty} P(|\frac{n_A}{n}-p|\geq \varepsilon)=0 \]

中心极限定理

列维-林德伯格中心极限定理（独立同分布）

设随机变量\(X_1,X_2,...,X_n...\)相互独立，服从同一分布，且具有数学期望和方差：\(EX_i=\mu,DX_i=\sigma^2\)，则随机变量之和\(\sum\limits_{i=1}^nX_i\)的标准化随机变量 \[ Y_n=\frac{\sum\limits_{i=1}^nX_i-E(\sum\limits_{i=1}^nX_i)}{\sqrt{D(\sum\limits_{i=1}^nX_i)}}=\frac{\sum\limits_{i=1}^nX_i-n\mu}{\sigma\sqrt{n}} \] 的分布函数处处收敛于标准正态分布函数，即对任意x，有 \[ \lim_{n\to\infty}P(\frac{\sum\limits_{i=1}^nX_i-n\mu}{\sigma\sqrt{n}}\leq x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^2}{2}}dt=\Phi(x) \] 即当n充分大时 \[ Y_n=\frac{\sum\limits_{i=1}^nX_i-n\mu}{\sigma\sqrt{n}}\sim N(0,1) \] 或等价地 \[ \sum\limits_{i=1}^nX_i=\sqrt{n}\sigma\cdot Y_n+n\mu\sim N(n\mu,n\sigma^2) \] 更一般的结论 \[ a\sum\limits_{i=1}^nX_i+b\sim N(a\cdot n\mu+b,a^2\cdot n\sigma^2) \]

德莫夫-拉普拉斯中心极限定理

设在n重伯努利试验中，事件\(A\)在每次试验中出现的概率为\(p\)，\(\eta_n\)为\(n\)次试验中事件A出现的次数，且服从二项分布\(B(n,p)\)，则\(\eta_n\)的标准化随机变量的分布函数处处收敛于正态分布的分布函数，即对\(\forall x\)，有 \[ \lim_{n\to\infty}P(\frac{\eta_n-np}{\sqrt{np(1-p)}}\leq x)=\frac{1}{\sqrt{2\pi}\int_{-\infty}^xe^{-\frac{t^2}{2}}}dt \] 即当n很大时 \[ \frac{\eta_n-np}{\sqrt{np(1-p)}}\sim N(0,1) \] 或等价地 \[ \eta_n\sim N(np,{np(1-p)}) \]

李雅普诺夫中心极限定理

设\(X_1,X_2,...,X_n...\)是相互独立的随机变量序列，它们的期望和方差存在：\(EX_i=\mu,DX_i=\sigma^2\)，记\(B_n^2=\sum\limits_{i=1}^n\sigma_i^2\)，若存在\(\delta>0\)使

\[ \frac{1}{B_n^{2+\delta}}\sum\limits_{i=1}^nE[|X_i-\mu_i|^{2+\delta}]\to 0,n\to \infty \] 则随机变量之和\(\sum\limits_{i=1}^n X_i\)的标准化随机变量 \[ Z_n=\frac{\sum\limits_{i=1}^nX_i-E(\sum\limits_{i=1}^nX_i)}{\sqrt{D(\sum\limits_{i=1}^nX_i)}}=\frac{\sum\limits_{i=1}^nX_i-\sum\limits_{i=1}^n\mu}{B_n} \] 即当n充分大时 \[ Y_n=\frac{\sum\limits_{i=1}^nX_i-\sum\limits_{i=1}^n\mu_i}{B_n}\sim N(0,1) \] 或等价地 \[ \sum\limits_{i=1}^nX_i=B_n\cdot Z_n+\sum\limits\limits_{i=1}^n\mu_i\sim N(\sum\limits_{i=1}^n \mu_i,B_n^2) \]