跳转至

数字特征

数学期望

离散型随机变量

X(x1x2xnp1p2pn)

期望

E(X)=i=1nxipi

绝对可求和

要求

i=1|xi|pi<

E(|X|) 绝对收敛。

Note

条件 E(|X|)< 表示期望 i=1xipi 的求和不受求和顺序的影响。

当这个条件不满足时,期望不存在。

连续性随机变量

Xp(x),则 X 的期望为

EX=xp(x) dx

存在条件:绝对可积,即

|x|p(x) dx<

期望的性质

  1. aXbaEXb
  2. 线性运算、加法定理

    E(aX+bY)=aEX+bEY

随机变量函数的数学期望

f:RR 是一个函数,X 是一个随机变量,求 Ef(X)

  • X 是离散型随机变量

    P(X=xk)=pk,k=1,2,,N

    Ef(X)=k=1Nf(xk)pk
  • X 是连续型随机变量

    Xp(x),<x<

    Ef(X)=f(x)p(x) dx
  • X 是混合型随机变量

    X 有分布函数 F(x),则

    Ef(X)=f(x) dF(x)

    (黎曼积分)

方差

方差的定义

衡量随机变量偏差的大小。

标准差:E((XEX)2)

方差:VarX=E((XEX)2)

方差的计算

公式:

VarX=E(X2)(EX)2

方差的性质

  1. Var(X+a)=VarX
  2. Var(aX)=a2VarX
  3. Var(a+bX)=b2VarX
  4. Var(X+Y)=VarX+VarY+2E(XEX)(YEY)=VarX+VarY+2Cov(X,Y)
  5. XY 相互独立时,Var(X+Y)=VarX+VarY,独立和的方差等于方差之和。
  6. cEX 时,Var(X)<E((Xc)2)

    证明

    Var(X)=E((XEX)2)=E((Xc(EXc))2)=E((Xc)22(Xc)(EXc)+(EXc)2)=E((Xc)2)(EXc)2<E((Xc)2)
  7. Var(i=1nXi)=i=1nVar(Xi)+2i<jCov(Xi,Xj)

Chebyshev 不等式

X 是一个随机变量,ε>0,有

P(|XEX|>ε)VarXε2

证明

Xp(x),则

P(|XEX|>ε)=|xEX|>εp(x) dx|xEX|>ε(xEX)2ε2p(x) dx1ε2(xEX)2p(x) dx=VarXε2

推广

f 是单调不减严格正函数,则

P(X>ε)E(f(X))f(ε)

证明

P(X>ε)=εp(x) dxεf(x)f(ε)p(x) dx=1f(ε)f(x)p(x) dx=E(f(X))f(ε)

应用

  1. XN(μ,σ2),则

    P(|Xμ|>3σ)σ29σ2=19

    这种方法上界与真实值相差很大

  2. SnB(n,p),其中 p 未知,想要用 Snn 来估计 p,则试验次数 n 和精度 ε 的大致关系:

    P(|Snnp|>ε)Var(Snn)ε2=Var(Sn)n2ε2=p(1p)nε214nε2

    改进

    f(x)=x4,则

    P(|Snnp|>ε)E(Snnp)4ε4=E(Snnp)4n4ε4cn2ε4
  3. VarX=0,则

    P(X=EX)=1

    证明

    即证 P(|XEX|>0)=0

    对于 ε>0,有

    P(|XEX|>ε)VarXε2=0

    因此

    P(|XEX|>0)=P(n=1{|XEX|>1n})n=1P(|XEX|>1n)=0

    证毕。

协方差

  • 均值向量:μ=(EX,EY) 表示向量均值。

  • 协方差:假设 XY 的方差存在,令

    Cov(X,Y)=E[(XEX)(YEY)]

    表示 XY 的协方差。

    计算公式:Cov(X,Y)=EXYEXEY

  • 运算性质:

    Cov(aX+b,cY+d)=E[(aX+b)(cY+d)]E(aX+b)E(cY+d)=acE(XY)acEXEY=acCov(X,Y)

Cauchy-Schwarz 不等式

E|XEX||YEY|E(XEX)2E(YEY)2

证明

不妨设 EX=EY=0,则需要证明

E|XY|EX2EY2

对于 t>0,有

0E(|X|+t|Y|)2=EX2+2tE|XY|+t2EY2,t>0

EX2+2tE|XY|+t2EY20,故

Δ=4E2|XY|4EX2EY20

E2|XY|EX2EY2E|XY|EX2EY2

协方差矩阵

假设 XY 的方差存在,令

Σ=(VarXCov(X,Y)Cov(X,Y)VarY)

称为 XY 的协方差矩阵。

协方差矩阵的性质

  1. Σ 非负定,对于 x,yR,有

    (x,y)(VarXCov(X,Y)Cov(X,Y)VarY)(xy)0

    证明

    (x,y)(VarXCov(X,Y)Cov(X,Y)VarY)(xy)=x2VarX+2xyCov(X,Y)+y2VarY=x2E(XEX)2+2xyE[(XEX)(YEY)]+y2E(YEY)2=E[x(XEX)+y(YEY)]20
  2. 如果 X,Y 独立,则

    Cov(X,Y)=0

    证明

    Cov(X,Y)=E[(XEX)(YEY)]=E(XEX)E(YEY)=0

定义

Cov(X,Y)=0

则称 XY 不相关。

如果 XY 独立,则 XY 不相关,但反之不成立。

  1. X,Y 不相关并不意味着 X,Y 独立。

    θU(0,2π)X=cosθY=sinθ,则

    EX=EY=0,VarX=VarY=12,Cov(X,Y)=0

    X2+Y21

    因此 X,Y 不独立。

二元联合正态分布

(X,Y)N(μ1,σ12,μ2,σ22,ρ),则

Cov(X,Y)=ρσ1σ2

线性变换后的协方差矩阵

N 维随机向量 X=(X1,X2,,XN)T 服从均值 E(X)=0,协方差矩阵为 ΣX 的正态分布,设随机向量

Y=AX

则随机向量 Y 的均值和协方差矩阵满足:

E(Y)=AE(X)=0ΣY=AΣXAT

证明

E(Y)=AE(X)=0 显然。

A=(aij)N×N,则对于 1i,jN,有

Cov(Yi,Yj)=E((YiEYi)(YjEYj))=E(YiYj)=E(k=1NaikXkl=1NajlXl)=k=1Nl=1NaikE(XkXl)ajl

又有 Cov(Xi,Xj)=E((XiEXi)(XjEXj))=E(XiXj),因此

Cov(Yi,Yj)=k=1Nl=1NaikCov(Xk,Xl)ajl=l=1Najlk=1NaikCov(Xk,Xl)

由于 ΣX=(Cov(Xi,Xj))N×N,ΣY=(Cov(Yi,Yj))N×N,因此可以看出

ΣY=AΣXAT

相关系数

定义

γ=Cov(X,Y)VarXVarY

称为 XY 的相关系数,反映 XY 之间的相关程度。

相关系数的性质

  1. 由 Cauchy-Schwarz 不等式可知

    |γ|1
  2. γ=1 时,存在 t0=VarXVarY,使得

    P(X=t0(YEY)+EX)=1

    XY 是正线性相关的。

    证明

    即证 XEXt0(YEY)=0

    γ=1 可知

    Cov(X,Y)=VarXVarY

    t0=VarXVarY,有

    E(XEXt0(YEY))2=E(XEX)2+t02E(YEY)22t0E(XEX)(YEY)=VarX+t02VarY2t0Cov(X,Y)=2VarX2VarXVarY(VarXVarY)=0

    因此

    XEXt0(YEY)=E(XEXt0(YEY))=0

    证毕。

    类似,当 γ=1 时,存在 t0=VarXVarY,使得

    P(X=t0(YEY)+EX)=1

    XY 是负线性相关的。

  3. γ=0不相关

    “不相关”可以解释为“不线性相关”。

条件期望与全期望公式

离散型随机变量的条件期望

给定 Y=yjX 的条件期望为

E(X|Y=yj)=i=1xiP(X=xi|Y=yj)

要求

i=1|xi|P(X=xi|Y=yj)<

否则条件期望不存在。

连续型随机变量的条件期望

给定 Y=yX 的条件期望为

E(X|Y=y)=xP(X=x|Y=y) dx

要求

|x|P(X=x|Y=y) dx<

否则条件期望不存在。

二元联合正态分布的条件期望

(X,Y)N(μ1,σ12,μ2,σ22,ρ),则

给定 Y=yX 的条件分布为

XN(μ1+ρσ1σ2(yμ2),σ12(1ρ2))

因此

E(X|Y=y)=μ1+ρσ1σ2(yμ2)

g(y)=E(X|Y=y),则

Eg(Y)=E(μ1+ρσ1σ2(Yμ2))=μ1+ρσ1σ2(EYμ2)=EX

EY(EX(X|Y))=EX

全期望公式

X,Y 是随机变量,令

g(y)=E(X|Y=y)

g(Y)=E(X|Y),则

Eg(Y)=j=1g(yj)P(Y=yj)=j=1i=1xiP(X=xi|Y=yj)P(Y=yj)=i=1xij=1P(X=xi|Y=yj)P(Y=yj)=i=1xiP(X=xi),全概率公式=EX

结论 E(E(X|Y))=EX 称为全期望公式。

k 阶矩(原点矩):E(Xk)

k 阶中心矩:E[(XEX)k]

随机变量的分布是否由其矩唯一确定

一般情况下不能。

定理

XY 是两个随机变量,如果对于 k1,有

E(Xk)=E(Yk)=mk<

若下列三个条件之一成立:

  1. k=1m2kt2k(2k)!<,t>0
  2. k=1m2k12k<
  3. limksup|mk|1k<

XY 的分布函数相同。

特征函数

XF(x),定义

φ(t)=E(eitX),tR

X 的特征函数。其中 EeitX=EcostX+iEsintX 存在且有限。

计算公式:

φ(t)=E(eitX)=eitxp(x) dx=eitx dF(x)

特征函数的性质

  1. φ(0)=1
  2. |φ(t)|1=φ(0)

    证明

    |φ(t)|=|E(eitX)|=|eitx dF(x)||eitx| dF(x)=1
  3. φ(t)=φ(t)

  4. φ(t)R 上一致连续

    证明

    即证,对于 ε>0δ>0,h<δ,tR,有

    |φ(t+h)φ(t)|<ε

    φ(t) 的定义可知

    |φ(t+h)φ(t)|=|E(ei(t+h)X)E(eitX)|=|E(eitX(eihX1))|E|eihX1|

    固定 ε>0,设 XF(x),则 M>0,使得

    P(|X|>M)=1F(M)+F(M)ε4

    |φ(t+h)φ(t)|E|eihX1|=|eihx1| dF(x)=|x|>M|eihx1|p(x) dx+|x|M|eihx1|p(x) dx<I1+I2

    其中 I1<2ε4=ε2,对于 I2

    |eihx1|=|eih2x||eih2xeih2x|=2|sinhx2|2|hx2|=|hx|hM

    因此

    |φ(t+h)φ(t)|<I1+I2<ε2+hM

    δ=ε2M,则当 h<δ 时,有

    |φ(t+h)φ(t)|<ε2+hM<ε2+ε2=ε

    证毕。

  5. Bochner 非负定性

    对任何实数 t1,t2,,tn,复数 a1,a2,,an,有

    i=1nj=1naiajφ(titj)0

    证明

    XF(x),则

    i=1nj=1naiajφ(titj)=i=1nj=1naiajE(ei(titj)X)=Ei=1nj=1naiajeitiXeitjX=E|i=1naieitiX|20
  6. 可微性

    EX 存在且 EX=μ,则 φ(t) 可微

    φ(0)=iμ

    φ(t)=ddtE(eitX)=ddteitxp(x) dx=ixeitx dF(x)

    类似,如果 E|X|k<,则

    φ(k)(t)=ikxkeitx dF(x)

    φ(t) 在 0 处可以进行 k 次展开:

    φ(t)=φ(0)+φ(0)t+φ(0)2!t2++φ(k)(0)k!tk+o(tk)=1+iE(X)t12E(X2)t2++ikE(Xk)k!tk+o(tk)

特征函数的运算性质

  1. X 的特征函数为 φX(t),则

    φaX+c(t)=E(eit(aX+c))=eitcE(ei(at)X)=eitcφX(at)

    Example

    XN(0,1),YN(μ,σ2),则

    Y=σX+μ

    因此

    φY(t)=eitμφX(σt)=eitμ12σ2t2
  2. 乘法公式

    X,Y 相互独立,则 Z=X+Y 的特征函数为

    φZ(t)=φX(t)φY(t)

    推广

    X1,X2,,Xn 相互独立,则 Z=i=1nXi 的特征函数为

    φZ(t)=i=1nφXi(t)
  3. 唯一性问题:如果 φX(t)=φY(t),则

    X=dY,FXFY

    推论

    1. 连续性情况

      X 的特征函数 φ(t) 绝对可积,则 X 具有密度函数 p(x),且

      p(x)=12πeitxφ(t) dt

      对偶公式

      已知 Xp(x),则

      φ(t)=eitxp(x) dx
      Example

      φ(t)=e|t| 是一个特征函数,求其对应的密度函数。

      φ(t) 绝对可积,因此存在密度函数 p(x),且

      p(x)=12πeitxe|t| dt=12π[0eitxet dt+0eitxet dt]=1π11+x2

      Xp(x)=1π11+x2

    2. 离散性情况

      φ(t) 是一个特征函数,若

      φ(t)=k=akeitk

      ak0,k=ak=1

      P(X=k)=ak
      Example

      φ(t)=cost,则有

      φ(t)=12eit+12eit

      因此

      P(X=1)=12,P(X=1)=12

    利用唯一性,可以利用已知的分布判断随机变量的分布。

    Example

    XkN(μk,σk2),k=1,2,,n,求

    Z=k=1nXk

    的分布。

    1. 先求 Z 的特征函数

      φZ(t)=k=1nφXk(t)=k=1neitμk12σk2t2=eitk=1nμk12t2k=1nσk2
    2. 将其与正态分布的特征函数比较,可得

      ZN(k=1nμk,k=1nσk2)

二元随机向量的特征函数

(X,Y) 是二维随机向量,其特征函数为

φ(t1,t2)=E(ei(t1X+t2Y))

X,Y 相互独立时,有

φ(t1,t2)=φX(t1)φY(t2)

Example

(X,Y)N(μ1,σ12,μ2,σ22,ρ),求 φ(t1,t2)

假设 (X,Y)N(0,1,0,1,ρ),令

Σ=(1ρρ1)

(UV)=Σ12(XY)

根据 3.2.2 节中的结论,有

E(U,V)=Σ12E(X,Y)=0ΣUV=Σ12Σ(Σ12)=Σ12ΣΣ12=I

因此 Cov(U,V)=0γUV=0,即 (U,V)N(0,1,0,1,0),即 U,V 相互独立。则

φUV(t1,t2)=φU(t1)φV(t2)=e12(t12+t22)=e12(t1,t2)(t1,t2)

因此

φ(t1,t2)=E(ei(t1X+t2Y))=E(ei(t1,t2)(X,Y))=E(ei(t1,t2)Σ12(U,V))=φUV((t1,t2)Σ12)=e12(t1,t2)Σ12Σ12(t1,t2)=e12(t1,t2)Σ(t1,t2)

回到原问题,已经得到当 (ξ,η)N(0,1,0,1,ρ) 时的特征函数为

φξη(t1,t2)=e12(t1,t2)(1ρρ1)(t1,t2)

(X,Y)N(μ1,σ12,μ2,σ22,ρ),有

(XY)=(σ1ξ+μ1σ2η+μ2)

因此

φ(t1,t2)=E(ei(t1X+t2Y))=E(ei(t1(σ1ξ+μ1)+t2(σ2η+μ2)))=ei(t1μ1+t2μ2)E(ei(t1σ1ξ+t2σ2η))=ei(t1μ1+t2μ2)φξη(t1σ1,t2σ2)=ei(t1μ1+t2μ2)12(t1σ1,t2σ2)Σ(t1σ1,t2σ2)

常见随机变量的期望、方差

离散型随机变量

退化分布

X(c1),P(X=c)=1
  • 期望

    E(X)=c
  • 方差

    VarX=E(X2)(EX)2=c2c2=0
  • 特征函数

    φ(t)=E(eitX)=eitc

二项 Bernoulli 分布

XB(n,p),P(X=k)=(nk)pk(1p)nk
  • 期望

    E(X)=k=0nk(nk)pk(1p)nk=np
  • 方差

    VarX=E(X2)(EX)2=n(n1)p2+npn2p2=np(1p)
    过程
    E(X2)=k=0nk2(nk)pk(1p)nk=k=1nk(k1)(nk)pk(1p)nk+k=1nk(nk)pk(1p)nk=k=2nn!(k2)!(nk)!pk(1p)nk+np=n(n1)p2k=2n(n2k2)pk2(1p)(n2)(k2)+np=n(n1)p2+np

    使用方差的性质

    Xi 表示第 i 次试验中成功的次数。

    Xi={1,p0,1p

    VarX=i=1nVarXi=np(1p)
  • 特征函数

    φ(t)=E(eitX)=k=0neitk(nk)pk(1p)nk=k=0n(nk)(peit)k(1p)nk=(peit+1p)n

    使用每次试验的独立性

    φ(t)=E(eitX)=E(eit(X1+X2++Xn))=E(i=1neitXi)=i=1nE(eitXi)=i=1n(peit+1p)=(peit+1p)n

Poisson 分布

XP(λ),P(X=k)=λkk!eλ
  • 期望

    E(X)=k=0kλkk!eλ=λeλk=0λkk!=λeλeλ=λ
  • 方差

    VarX=E(X2)(EX)2=λ2+λλ2=λ
    过程
    E(X2)=k=0k2λkk!eλ=k=1k(k1)λkk!eλ+k=1kλkk!eλ=k=2λk(k2)!eλ+λ=λ2+λ
  • EX(X1)(Xk+1)=λk,k1

    证明

    EX(X1)(Xk+1)=x=0x(x1)(xk+1)λxx!eλ=x=kx!(xk)!λxx!eλ=x=kλx(xk)!eλ=λkx=kλxk(xk)!eλ=λk

    E(X2)=EX(X1)+EX=λ2+λE(X3)=EX(X1)(X2)+3EX(X1)+EX=λ3+3λ2+λE(X4)=EX(X1)(X2)(X3)+6EX(X1)(X2)+7EX(X1)+EX=λ4+6λ3+7λ2+λ
  • 特征函数

    φ(t)=E(eitX)=k=0eitkλkk!eλ=eλk=0(λeit)kk!=eλeλeit=eλ(eit1)

几何分布

XG(p),P(X=k)=(1p)k1p
E(X)=k=1k(1p)k1p=1p

超几何分布

XH(N,M,n),P(X=k)=CMkCNMnkCNn
  • 期望

    Xi 表示第 i 次抽检时的次品个数。

    Xi={1,p=MN0,1p=NMN

    得到 E(Xi)=MN,因此

    E(X)=k=0nE(Xi)=nMN
    不放回抽样每次抽样同分布不独立

    Ai 表示第 i 次抽检时抽到次品。

    p(A2)=p(A1)p(A2|A1)+p(A1)p(A2|A1)=MN×M1N1+NMN×MN1=M2M+NMM2N(N1)=MN

    由数学归纳法可知,p(Ai)=MN

连续型随机变量

均匀分布

XU(a,b),p(x)=1ba
  • 期望

    EX=abxba dx=a+b2
  • 方差

    VarX=E(X2)(EX)2=abx2ba dx(a+b2)2=b3a33(ba)(a+b2)2=(ba)212
  • 特征函数

    φ(t)=E(eitX)=abeitxba dx=eitbeitait(ba)

指数分布

XE(λ),p(x)=λeλx,x>0
  • 期望

    EX=0λxeλx dx=0x deλx=xeλx|0+0eλx dx=1λ
  • 方差

    VarX=E(X2)(EX)2=2λ21λ2=1λ2
    过程
    E(X2)=0λx2eλx dx=0x2 deλx=x2eλx|0+02xeλx dx=2λ2
  • 特征函数

    φ(t)=E(eitX)=0λeλxeitx dx=0λe(λit)x dx=λe(λit)xλit|0=λλit

正态分布

XN(μ,σ2),p(x)=12πσe(xμ)22σ2
  • 期望

    EX=x2πσe(xμ)22σ2 dx=μ
  • 方差

    VarX=E(X2)(EX)2=σ2+μ2μ2=σ2
    过程
    E(X2)=x22πσe(xμ)22σ2 dx=(xμ+μ)22πσe(xμ)22σ2 dx=(xμ)22πσe(xμ)22σ2 dx+2μ(xμ)2πσe(xμ)22σ2 dx+μ22πσe(xμ)22σ2 dx=σ2+0+μ2=σ2+μ2
  • XN(0,σ2),则

    E(X2k+1)=0,E(X2k)=(2k1)!!σ2k

    证明

    E(X2k)=x2k2πσex22σ2 dx=x2k1σ2π dex22σ2=x2k1σ2πex22σ2|+(2k1)x2k2σ22πσex22σ2 dx=(2k1)σ2E(X2k2)=(2k1)!!σ2k

    对于 X2k+1,由于 X 是偶函数,因此

    E(X2k+1)=0
  • 特征函数

    Info

    对于 XN(0,1),有

    12πex22 dx=1

    得到

    ex22 dx=2π

    对于 XN(μ,σ2),有

    φ(t)=E(eitX)=12πσe(xμ)22σ2eitx dx=12πσe(xμ)22iσ2tx2σ2 dx=12πσe(xμiσ2t)2+σ4t22μiσ2t2σ2 dx=12πeμit12σ2t2e12(xμiσ2tσ)2 dxμiσ2tσ=eμit12σ2t2

    得到

    φ(t)=eμit12σ2t2

    对于标准正态分布,有 φ(t)=e12t2