随机变量的数学期望和方差

离散型随机变量

若\(\sum\limits_{i=1}^{\infty}|x_i|p_i<+\infty\)，则数学期望为 \[ EX=\sum\limits_{i=1}^{\infty}x_ip_i \] 若\(E(X-EX)^2\)存在，则方差为 \[ DX=E(X-EX)^2=EX^2-(EX)^2=\sum\limits_{i=1}^{\infty}(x_i-EX)^2p_i \]

实例

二项分布\(x\sim B(n,p)\)，数学期望和方差分别为 \[ EX=np,DX=np(1-p) \] 泊松分布\(x\sim P(\lambda)\)，数学期望和方差分别为 \[ EX=\lambda,DX=\lambda \] 几何分布，数学期望和方差分别为 \[ EX=\frac{1}{p},DX=\frac{1-p}{p^2} \]

连续型随机变量

若\(\int_{-\infty}^{+\infty}|x|f(x)dx<+\infty\)，数学期望为 \[ EX=\int_{-\infty}^{+\infty}xf(x)dx<+\infty \] 若\(E(X-EX)^2\)存在，则方差为 \[ DX=E(X-EX)^2=EX^2-(EX)^2=\int_{-\infty}^{+\infty}(x-EX)^2f(x)dx \]

实例

均匀分布，数学期望和方差分别为 \[ EX=\frac{a+b}{2},DX=\frac{(b-a)^2}{12} \] 指数分布\(x\sim E(\lambda)\)，数学期望和方差分别为 \[ EX=\frac{1}{\lambda},DX=\frac{1}{\lambda^2} \] 正态分布\(x\sim N(\mu,\sigma^2)\)，数学期望和方差分别为 \[ EX=\mu,DX=\sigma^2 \]

柯西分布 \[ f(x)=\dfrac{1}{\pi(1+x^2)} \] 不存在\(EX,DX\)

随机变量函数的数学期望

一维

设\(y=g(x)\)是函数，而\(Y=g(X)\)是随机变量\(X\)的函数

  1. 若X是离散型随机变量，且\(\sum\limits_{i=1}^{\infty}|g(x_i)|p_i\)收敛，则 \[ EY=E[g(X)]=\sum\limits_{i=1}^{\infty}g(x_i)p_i \]

  2. 若X是连续型随机变量，且\(\int_{-\infty}^{+\infty}|g(x)|f(x)dx<+\infty\)，则 \[ EY=E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx \]

二维

设\(z=g(x,y)\)是函数，而\(Z=g(X,Y)\)是随机变量\((X,Y)\)的函数

  1. 若\((X,Y)\)是二维离散型随机变量，且\(\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}|g(x_i,y_i)|p_{ij}\)收敛，则 \[ EZ=E[g(X,Y)]=\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}g(x_i,y_i)p_{ij} \]

  2. 若\((X,Y)\)是连续型随机变量，且\(\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}|g(x,y)|f(x,y)dx<+\infty\)，则 \[ EZ=E[g(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)dx \]

数学期望的性质

  1. \(C\)为常数，则\(EC=C\)

  2. 对任意\(n\geq 1\)及常数\(k_1,k_2,...,k_n\)，有 \[ E(\sum\limits_{i=1}^{n}k_iX_i)=\sum\limits_{i=1}^{n}k_iEX_i \]

  3. 当\(n\geq 2\)时，若\(X_1,X_2,...,X_n\)相互独立，则 \[ E( {\prod_{i=1}^{n}X_i})=\prod_{i=1}^{n}EX_i \]

  4. 若\(X_1\geq X_2\)，则\(EX_1\geq EX_2\)

  5. \(|EX|\leq E|X|\)

  6. 若\(EX^2,EY^2\)存在，则\(E(XY)\)存在，且 \[ [E(XY)]^2\leq EX^2EY^2 \]

方差的性质

切比雪夫不等式：设随机变量\(X\)的期望和方差均存在，则对任意\(\varepsilon>0\)，有 \[ P(|X-EX|\geq \varepsilon)\leq \frac{DX}{\varepsilon^2} \] 等价形式 \[ P(|X-EX|\leq\varepsilon)\geq1-\frac{DX}{\varepsilon^2} \]

  1. 对任意的随机变量X，有\(DX\geq0\)，且\(DX=0\)的充分条件是\(P(X=C)=1\)

  2. 对任意常数a，b，有\(D(a+bX)=b^2DX\)

  3. 若\(X1,X2,...,Xn\)相互独立，则\(D(X1+X2+...+Xn)=DX1+DX2+...+DXn\)

  4. 对一切实数C，有\(DX=E(X-EX)^2\leq E(X-C)^2\)

  5. 若\(EX_i=\mu,DX_i=\sigma^2\)，则 \[ E\overline{X}=\mu,D\overline{X}=\frac{\sigma^2}{n} \]

随机变量的矩

原点矩&中心矩

k阶原点矩\(\nu_k\) \[ \nu_k=EX^k \]

  • \(\nu_0=1,\nu_1=EX\)

k阶原点绝对矩\(\alpha_k\) \[ \alpha_k=E|X|^k \] k阶中心矩\(\mu_k\) \[ \mu_k=E[X-EX]^k \]

  • 若随机变量的概率密度关于期望对称，则它的一切奇数阶中心矩为零
  • 任何不为零的奇数阶中心矩都可以用来衡量分布的偏移
  • 任何随机变量的一阶中心矩如果存在，必恒为零
  • \(\mu_0=1,\mu_1=0,\mu_2=DX\)

k阶中心绝对矩\(\beta_k\) \[ \beta_k=E|X-EX|^k \]

原点矩和中心矩的转换

\[ \mu_k=\sum\limits_{n=0}^{k}(-1)^{k-n}C_k^n\nu_1^{k-n}\nu_n \]

\[ \nu_k=\sum\limits_{n=0}^kC_k^n\nu_1^n\mu_{k-n} \]

偏度

\[ S(x)=\frac{\mu_3}{\mu_2^{3/2}} \]

如果\(X\sim N(\mu,\sigma^2)\)分布，\(S(X)=0\)

只要随机变量的概率密度关于期望对称，其偏度均为零；即偏度\(S(X)\)是描绘随机变量关于其均值不对称程度的数字特征

峰度

\[ K(X)=\frac{\mu_4}{\mu_2^2}-3 \]

如果\(X\sim N(\mu,\sigma^2)\)分布，\(K(X)=0\)

峰度的定义式是为了便于以正态曲线为标准进行比较，通常峰度越大，密度曲线的顶部越“尖”；峰度越小，密度曲线的顶部越“平”

协方差和相关系数

协方差

若\(E|(X-EX)(Y-EY)|\)存在，则协方差 \[ Cov(X,Y)=E[(X-EX)(Y-XY)]=E(XY)-EXEY \] 实例

设\((X,Y)\)服从二维正态分布\(N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2)\)，则 \[ Cov=\rho\sigma_1\sigma_2 \]

性质

  1. 若X和Y相互独立，则\(Cov(X,Y)=0\)
  2. \(Cov(X,Y)=Cov(Y,X)\)
  3. \(Cov(aX,bY)=abCov(X,Y)\)
  4. \(Cov(X_1+X_2,Y)=Cov(X_1,Y)+CoV(X_2,Y)\)

应用

\[ D(k_0+k_1X_1+...+k_nX_n)={\sum_{i=1}^nk_i^2DX_i+2\sum_{i=1}^n\sum_{j=1}^n}_{i<j}k_ik_jCov(X_i,Y_i) \]

相关系数

当\(X\)和\(Y\)分别增大k倍时，\(X_1,Y_1\)的联系和\(X,Y\)是一样的，但是\(Cov(X_1,Y_1)=k^2Cov(X,Y)\)，为克服这一缺陷，将X和Y标准化： \[ \frac{X-EX}{\sqrt{DX}},\frac{Y-EY}{\sqrt{DY}} \] 相关系数\(\rho\)： \[ \rho _{XY}=Cov(\frac{X-EX}{\sqrt{DX}},\frac{Y-EY}{\sqrt{DY}})=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}} \]

性质

  1. \(|\rho|\leq1\)

  2. \(|\rho|=1\)的充分必要条件是\(P(Y=aX+b)=1\)

  3. \(|\rho|=0\)，\(X,Y\)不相关

    \(|\rho|=1\)，\(X,Y\)完全相关

    \(|\rho|>0\)，\(X,Y\)正相关

    \(|\rho|<0\)，\(X,Y\)负相关

  4. \(U=aX+b,V=cY+d\)，则 \[ \rho_{UV}=\frac{ac}{|ac|}\rho_{XY}=\pm\rho_{XY} \]

独立性与相关性

  1. \(X,Y\)相互独立的充要条件是\(\rho=0\)
  2. 若\(X,Y\)相互独立，且\(X,Y\)的二阶矩非零有限，则\(X,Y\)一定不相关
  3. 若\(X,Y\)不相关，则\(X,Y\)不一定独立
  4. 对于二维正态分布，独立和不相关是一致的
  5. 若\(X,Y\)相关，\(X,Y\)一定不独立

协方差矩阵

\(X,Y\)的\((k,l)\)阶联合原点矩 \[ E(X^kY^l) \] \(X,Y\)的\((k,l)\)阶联合中心矩 \[ E((X-EX)^k(Y-EY)^l) \] 对于n维随机变量\((X_1,X_2,...,X_n)\)，其协方差矩阵为 \[ \Sigma =\begin{bmatrix} Cov(X_1,X_1)& Cov(X_1,X_2) & ...&Cov(X_1,X_n) \\ Cov(X_2,X_1)& Cov(X_2,X_2) & ...&Cov(X_2,X_n) \\ ...& ... & ...&... \\ Cov(X_n,X_1)& Cov(X_n,X_2) & ...&Cov(X_n,X_n) \end{bmatrix} \]

条件数学期望

\[ E(X|Y=y)=\int_{-\infty}^{+\infty}xf_{X|Y}(x|y)dx \]

性质

设\(X,Y,X_1,X_2,...,X_n\)是随机变量，\(g(x),h(y)\)是函数，又设所有随机变量的数学期望存在，则

  1. \[ E(C_0+\sum_{i=1}^{n}C_iX_i|Y)=C_0+\sum_{i=1}^nC_iE(X_i|Y) \]

  2. \[ E(h(Y)g(X)|Y)=h(Y)E(g(X)|Y) \]

  3. 当X，Y独立时， \[ E(g(X)|Y)=E(g(X)) \]

  4. \[ E(E(g(X)|Y))=E(g(X)) \]

最佳预测问题

设\(X,Y\)为两个随机变量，且\(EX^2<+\infty\)，记\(m(Y)=E(X|Y)\)，则对任何函数\(g(y)\)，有 \[ E[X-m(Y)]^2\leq E[X-g(Y)]^2 \]

全期望公式

设\(X,Y\)为两个随机变量，若\(EX\)存在，则 \[ E[E(X|Y)]=EX \] 若\((X,Y)\)为二维离散型，则 \[ EX=\sum_{j=1}^{\infty}E(X|Y=y_j)P(Y=y_j) \] 若\((X,Y)\)为二维连续型，则 \[ EX=\int_{-\infty}^{+\infty}E(X|Y=y)f_Y(y)dy \]