首页 Math 概率论

# 随机变量的数学期望和方差

# 离散型随机变量

若∑i=1∞∣xi∣pi<+∞\sum\limits_{i=1}^{\infty}|x_i|p_i<+\infty，则数学期望为

EX=∑i=1∞xipiEX=\sum\limits_{i=1}^{\infty}x_ip_i

若E(X−EX)2E(X-EX)^2 存在，则方差为

DX=E(X−EX)2=EX2−(EX)2=∑i=1∞(xi−EX)2piDX=E(X-EX)^2=EX^2-(EX)^2=\sum\limits_{i=1}^{\infty}(x_i-EX)^2p_i

# 实例

二项分布x∼B(n,p)x\sim B(n,p)，数学期望和方差分别为

EX=np,DX=np(1−p)EX=np,DX=np(1-p)

泊松分布x∼P(λ)x\sim P(\lambda)，数学期望和方差分别为

EX=λ,DX=λEX=\lambda,DX=\lambda

几何分布，数学期望和方差分别为

EX=1p,DX=1−pp2EX=\frac{1}{p},DX=\frac{1-p}{p^2}

# 连续型随机变量

若∫−∞+∞∣x∣f(x)dx<+∞\int_{-\infty}^{+\infty}|x|f(x)dx<+\infty，数学期望为

EX=∫−∞+∞xf(x)dx<+∞EX=\int_{-\infty}^{+\infty}xf(x)dx<+\infty

若E(X−EX)2E(X-EX)^2 存在，则方差为

DX=E(X−EX)2=EX2−(EX)2=∫−∞+∞(x−EX)2f(x)dxDX=E(X-EX)^2=EX^2-(EX)^2=\int_{-\infty}^{+\infty}(x-EX)^2f(x)dx

# 实例

均匀分布，数学期望和方差分别为

EX=a+b2,DX=(b−a)212EX=\frac{a+b}{2},DX=\frac{(b-a)^2}{12}

指数分布x∼E(λ)x\sim E(\lambda)，数学期望和方差分别为

EX=1λ,DX=1λ2EX=\frac{1}{\lambda},DX=\frac{1}{\lambda^2}

正态分布x∼N(μ,σ2)x\sim N(\mu,\sigma^2)，数学期望和方差分别为

EX=μ,DX=σ2EX=\mu,DX=\sigma^2

柯西分布

f(x)=1π(1+x2)f(x)=\dfrac{1}{\pi(1+x^2)}

不存在EX,DXEX,DX

# 随机变量函数的数学期望

# 一维

设y=g(x)y=g(x) 是函数，而Y=g(X)Y=g(X) 是随机变量XX 的函数

  1. 若 X 是离散型随机变量，且∑i=1∞∣g(xi)∣pi\sum\limits_{i=1}^{\infty}|g(x_i)|p_i 收敛，则

    EY=E[g(X)]=∑i=1∞g(xi)piEY=E[g(X)]=\sum\limits_{i=1}^{\infty}g(x_i)p_i

  2. 若 X 是连续型随机变量，且∫−∞+∞∣g(x)∣f(x)dx<+∞\int_{-\infty}^{+\infty}|g(x)|f(x)dx<+\infty，则

    EY=E[g(X)]=∫−∞+∞g(x)f(x)dxEY=E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)dx

# 二维

设z=g(x,y)z=g(x,y) 是函数，而Z=g(X,Y)Z=g(X,Y) 是随机变量(X,Y)(X,Y) 的函数

  1. 若(X,Y)(X,Y) 是二维离散型随机变量，且∑i=1∞∑j=1∞∣g(xi,yi)∣pij\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}|g(x_i,y_i)|p_{ij} 收敛，则

    EZ=E[g(X,Y)]=∑i=1∞∑j=1∞g(xi,yi)pijEZ=E[g(X,Y)]=\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}g(x_i,y_i)p_{ij}

  2. 若(X,Y)(X,Y) 是连续型随机变量，且∫−∞+∞∫−∞+∞∣g(x,y)∣f(x,y)dx<+∞\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}|g(x,y)|f(x,y)dx<+\infty，则

    EZ=E[g(X,Y)]=∫−∞+∞∫−∞+∞g(x,y)f(x,y)dxEZ=E[g(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)dx

# 数学期望的性质

  1. CC 为常数，则EC=CEC=C

  2. 对任意n≥1n\geq 1 及常数k1,k2,...,knk_1,k_2,...,k_n，有

    E(∑i=1nkiXi)=∑i=1nkiEXiE(\sum\limits_{i=1}^{n}k_iX_i)=\sum\limits_{i=1}^{n}k_iEX_i

  3. 当n≥2n\geq 2 时，若X1,X2,...,XnX_1,X_2,...,X_n 相互独立，则

    E(∏i=1nXi)=∏i=1nEXiE( {\prod_{i=1}^{n}X_i})=\prod_{i=1}^{n}EX_i

  4. 若X1≥X2X_1\geq X_2，则EX1≥EX2EX_1\geq EX_2

  5. ∣EX∣≤E∣X∣|EX|\leq E|X|

  6. 若EX2,EY2EX^2,EY^2 存在，则E(XY)E(XY) 存在，且

    [E(XY)]2≤EX2EY2[E(XY)]^2\leq EX^2EY^2

# 方差的性质

切比雪夫不等式：设随机变量XX 的期望和方差均存在，则对任意ε>0\varepsilon>0，有

P(∣X−EX∣≥ε)≤DXε2P(|X-EX|\geq \varepsilon)\leq \frac{DX}{\varepsilon^2}

等价形式

P(∣X−EX∣≤ε)≥1−DXε2P(|X-EX|\leq\varepsilon)\geq1-\frac{DX}{\varepsilon^2}

  1. 对任意的随机变量 X，有DX≥0DX\geq0，且DX=0DX=0 的充分条件是P(X=C)=1P(X=C)=1

  2. 对任意常数 a，b，有D(a+bX)=b2DXD(a+bX)=b^2DX

  3. 若X1,X2,...,XnX1,X2,...,Xn 相互独立，则D(X1+X2+...+Xn)=DX1+DX2+...+DXnD(X1+X2+...+Xn)=DX1+DX2+...+DXn

  4. 对一切实数 C，有DX=E(X−EX)2≤E(X−C)2DX=E(X-EX)^2\leq E(X-C)^2

  5. 若EXi=μ,DXi=σ2EX_i=\mu,DX_i=\sigma^2，则

    EX‾=μ,DX‾=σ2nE\overline{X}=\mu,D\overline{X}=\frac{\sigma^2}{n}

# 随机变量的矩

# 原点矩 & 中心矩

k 阶原点矩νk\nu_k

νk=EXk\nu_k=EX^k

  • ν0=1,ν1=EX\nu_0=1,\nu_1=EX

k 阶原点绝对矩αk\alpha_k

αk=E∣X∣k\alpha_k=E|X|^k

k 阶中心矩μk\mu_k

μk=E[X−EX]k\mu_k=E[X-EX]^k

  • 若随机变量的概率密度关于期望对称，则它的一切奇数阶中心矩为零
  • 任何不为零的奇数阶中心矩都可以用来衡量分布的偏移
  • 任何随机变量的一阶中心矩如果存在，必恒为零
  • μ0=1,μ1=0,μ2=DX\mu_0=1,\mu_1=0,\mu_2=DX

k 阶中心绝对矩βk\beta_k

βk=E∣X−EX∣k\beta_k=E|X-EX|^k

# 原点矩和中心矩的转换

μk=∑n=0k(−1)k−nCknν1k−nνn\mu_k=\sum\limits_{n=0}^{k}(-1)^{k-n}C_k^n\nu_1^{k-n}\nu_n

νk=∑n=0kCknν1nμk−n\nu_k=\sum\limits_{n=0}^kC_k^n\nu_1^n\mu_{k-n}

# 偏度

S(x)=μ3μ23/2S(x)=\frac{\mu_3}{\mu_2^{3/2}}

如果X∼N(μ,σ2)X\sim N(\mu,\sigma^2) 分布，S(X)=0S(X)=0

只要随机变量的概率密度关于期望对称，其偏度均为零；即偏度S(X)S(X) 是描绘随机变量关于其均值不对称程度的数字特征

# 峰度

K(X)=μ4μ22−3K(X)=\frac{\mu_4}{\mu_2^2}-3

如果X∼N(μ,σ2)X\sim N(\mu,\sigma^2) 分布，K(X)=0K(X)=0

峰度的定义式是为了便于以正态曲线为标准进行比较，通常峰度越大，密度曲线的顶部越 “尖”；峰度越小，密度曲线的顶部越 “平”

# 协方差和相关系数

# 协方差

若E∣(X−EX)(Y−EY)∣E|(X-EX)(Y-EY)| 存在，则协方差

Cov(X,Y)=E[(X−EX)(Y−XY)]=E(XY)−EXEYCov(X,Y)=E[(X-EX)(Y-XY)]=E(XY)-EXEY

实例

设(X,Y)(X,Y) 服从二维正态分布N(μ1,μ2,σ12,σ22)N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2)，则

Cov=ρσ1σ2Cov=\rho\sigma_1\sigma_2

# 性质

  1. 若 X 和 Y 相互独立，则Cov(X,Y)=0Cov(X,Y)=0
  2. Cov(X,Y)=Cov(Y,X)Cov(X,Y)=Cov(Y,X)
  3. Cov(aX,bY)=abCov(X,Y)Cov(aX,bY)=abCov(X,Y)
  4. Cov(X1+X2,Y)=Cov(X1,Y)+CoV(X2,Y)Cov(X_1+X_2,Y)=Cov(X_1,Y)+CoV(X_2,Y)

# 应用

D(k0+k1X1+...+knXn)=∑i=1nki2DXi+2∑i=1n∑j=1ni<jkikjCov(Xi,Yi)D(k_0+k_1X_1+...+k_nX_n)={\sum_{i=1}^nk_i^2DX_i+2\sum_{i=1}^n\sum_{j=1}^n}_{i<j}k_ik_jCov(X_i,Y_i)

# 相关系数

当XX 和YY 分别增大 k 倍时，X1,Y1X_1,Y_1 的联系和X,YX,Y 是一样的，但是Cov(X1,Y1)=k2Cov(X,Y)Cov(X_1,Y_1)=k^2Cov(X,Y)，为克服这一缺陷，将 X 和 Y 标准化：

X−EXDX,Y−EYDY\frac{X-EX}{\sqrt{DX}},\frac{Y-EY}{\sqrt{DY}}

相关系数ρ\rho：

ρXY=Cov(X−EXDX,Y−EYDY)=Cov(X,Y)DXDY\rho _{XY}=Cov(\frac{X-EX}{\sqrt{DX}},\frac{Y-EY}{\sqrt{DY}})=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}

# 性质

  1. ∣ρ∣≤1|\rho|\leq1

  2. ∣ρ∣=1|\rho|=1 的充分必要条件是P(Y=aX+b)=1P(Y=aX+b)=1

  3. ∣ρ∣=0|\rho|=0，X,YX,Y 不相关

    ∣ρ∣=1|\rho|=1，X,YX,Y 完全相关

    ∣ρ∣>0|\rho|>0，X,YX,Y 正相关

    ∣ρ∣<0|\rho|<0，X,YX,Y 负相关

  4. U=aX+b,V=cY+dU=aX+b,V=cY+d，则

    ρUV=ac∣ac∣ρXY=±ρXY\rho_{UV}=\frac{ac}{|ac|}\rho_{XY}=\pm\rho_{XY}

# 独立性与相关性

  1. X,YX,Y 相互独立的充要条件是ρ=0\rho=0
  2. 若X,YX,Y 相互独立，且X,YX,Y 的二阶矩非零有限，则X,YX,Y 一定不相关
  3. 若X,YX,Y 不相关，则X,YX,Y 不一定独立
  4. 对于二维正态分布，独立和不相关是一致的
  5. 若X,YX,Y 相关，X,YX,Y 一定不独立

# 协方差矩阵

X,YX,Y 的(k,l)(k,l) 阶联合原点矩

E(XkYl)E(X^kY^l)

X,YX,Y 的(k,l)(k,l) 阶联合中心矩

E((X−EX)k(Y−EY)l)E((X-EX)^k(Y-EY)^l)

对于 n 维随机变量(X1,X2,...,Xn)(X_1,X_2,...,X_n)，其协方差矩阵为

Σ=[Cov(X1,X1)Cov(X1,X2)...Cov(X1,Xn)Cov(X2,X1)Cov(X2,X2)...Cov(X2,Xn)............Cov(Xn,X1)Cov(Xn,X2)...Cov(Xn,Xn)]\Sigma =\begin{bmatrix} Cov(X_1,X_1)& Cov(X_1,X_2) & ...&Cov(X_1,X_n) \\ Cov(X_2,X_1)& Cov(X_2,X_2) & ...&Cov(X_2,X_n) \\ ...& ... & ...&... \\ Cov(X_n,X_1)& Cov(X_n,X_2) & ...&Cov(X_n,X_n) \end{bmatrix}

# 条件数学期望

E(X∣Y=y)=∫−∞+∞xfX∣Y(x∣y)dxE(X|Y=y)=\int_{-\infty}^{+\infty}xf_{X|Y}(x|y)dx

# 性质

设X,Y,X1,X2,...,XnX,Y,X_1,X_2,...,X_n 是随机变量，g(x),h(y)g(x),h(y) 是函数，又设所有随机变量的数学期望存在，则

  1. E(C0+∑i=1nCiXi∣Y)=C0+∑i=1nCiE(Xi∣Y)E(C_0+\sum_{i=1}^{n}C_iX_i|Y)=C_0+\sum_{i=1}^nC_iE(X_i|Y)

  2. E(h(Y)g(X)∣Y)=h(Y)E(g(X)∣Y)E(h(Y)g(X)|Y)=h(Y)E(g(X)|Y)

  3. 当 X，Y 独立时，

    E(g(X)∣Y)=E(g(X))E(g(X)|Y)=E(g(X))

  4. E(E(g(X)∣Y))=E(g(X))E(E(g(X)|Y))=E(g(X))

# 最佳预测问题

设X,YX,Y 为两个随机变量，且EX2<+∞EX^2<+\infty，记m(Y)=E(X∣Y)m(Y)=E(X|Y)，则对任何函数g(y)g(y)，有

E[X−m(Y)]2≤E[X−g(Y)]2E[X-m(Y)]^2\leq E[X-g(Y)]^2

# 全期望公式

设X,YX,Y 为两个随机变量，若EXEX 存在，则

E[E(X∣Y)]=EXE[E(X|Y)]=EX

若(X,Y)(X,Y) 为二维离散型，则

EX=∑j=1∞E(X∣Y=yj)P(Y=yj)EX=\sum_{j=1}^{\infty}E(X|Y=y_j)P(Y=y_j)

若(X,Y)(X,Y) 为二维连续型，则

EX=∫−∞+∞E(X∣Y=y)fY(y)dyEX=\int_{-\infty}^{+\infty}E(X|Y=y)f_Y(y)dy