概率极限定理

经典概率极限定理

下面三个定理只涉及 Bernoulli 试验，$X\sim B(n,p)$。

$$\begin{array}{rl}P(X=k)& =(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}\\ E(X)& =np\\ Var(X)& =np(1-p)\end{array}$$

Bernoulli 大数定律

依概率收敛

设 $X_n,n\ge 1$ 是一列随机变量，$X$ 是另一个随机变量，如果对于任意的 $\epsilon >0$，有

$$P(\omega :|X_n(\omega )-X(\omega )|>\epsilon )\to 0,n\to \mathrm{\infty }$$

则称 $X_n$ 依概率收敛到 $X$，记作 $X_n\stackrel{P}{\to }X$。

设 $0<p<1$，$S_n\sim B(n,p)$，则

$$P(\omega :|\frac{S_n(\omega )}{n}-p|>\epsilon )\to 0,n\to \mathrm{\infty }$$

即 频率接近概率真值 的数学解释。即 ${\displaystyle \frac{S_n}{n}}$ 依概率收敛到 $p$。

$$\frac{S_n}{n}\stackrel{P}{\to }p,n\to \mathrm{\infty }$$

Info

不能使用 $\epsilon -N$ 语言来描述，因为随机变量取值范围和 $n$ 无关。

$$P(\omega :|\frac{S_n(\omega )}{n}-p|>\epsilon )=\sum _{k:|\frac{k}{n}-p|>\epsilon }(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}>0$$

即总会发生 $|\frac{S_n}{n}-p|>\epsilon$。

de Moivre-Laplace 中心极限定理

依分布收敛

设 $X_n,n\ge 1$ 是一列随机变量，相应分布函数为 $F_n(x)$，$X$ 是另一个随机变量，分布函数为 $F(x)$，如果对于任意的 $F(x)$ 的连续点 $x$，有

$$F_n(x)\to F(x),n\to \mathrm{\infty }$$

则称 $X_n$ 依分布收敛到 $X$，记作 $X_n\stackrel{D}{\to }X$ 或 $F_n\stackrel{D}{\to }F$。

假设 $S_n\sim B(n,p)$，则

$$P(\frac{S_n-np}{\sqrt{np(1-p)}}\le x)\asymp {\int }_{-\mathrm{\infty }}^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}\mathrm{d}t,n\to \mathrm{\infty }$$

$\asymp$ 意为渐进相等

即 $f\asymp g\iff \mathrm{\exists }C,D>0$，使得 $C|g|\le |f|\le D|g|$。

其中 ${\displaystyle \frac{S_n-np}{\sqrt{np(1-p)}}}$ 称为 规范化随机变量，记作 $Z_n$，满足 $E{Z}_n=0,Var{Z}_n=1$；等式右侧为 标准正态分布 的分布函数 $\mathrm{\Phi }(x)$。即

$$F_{Z_n}(x)\stackrel{D}{\to }\mathrm{\Phi }(x),n\to \mathrm{\infty }$$

即满足 Bernoulli 二项分布的规范化随机变量分布渐进于标准正态分布。

应用

$$\begin{array}{rl}P(a\le S_n\le b)& =P(\frac{a-np}{\sqrt{np(1-p)}}\le \frac{S_n-np}{\sqrt{np(1-p)}}\le \frac{b-np}{\sqrt{np(1-p)}})\\ & \asymp \mathrm{\Phi }(\frac{b-np}{\sqrt{np(1-p)}})-\mathrm{\Phi }(\frac{a-np}{\sqrt{np(1-p)}})\end{array}$$

证明（$p=1/2$ 的情况）

出发点

$$P(a\le \frac{S_n-np}{\sqrt{np(1-p)}}\le b)=\sum _{k:a\le \frac{k-np}{\sqrt{np(1-p)}}\le b}(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}$$

:TODO:

（szg：感兴趣的了解）

Poisson 极限定理

设 $S_n\sim B(n,p_n)$，若 $n{p}_n\to \lambda$，则

$$P(S_n=k)\to \frac{{\lambda }^k}{k!}{e}^{-\lambda },n\to \mathrm{\infty }$$

证明

由 $n{p}_n\to \lambda$，可知 $p_n=\frac{\lambda }{n}+o(\frac{1}{n})$。

$$\begin{array}{rl}P(S_n=k)=& (\genfrac{}{}{0ex}{}{n}{k})p_n^k(1-p_n{)}^{n-k}\\ =& \frac{1}{k!}\cdot n(n-1)\cdots (n-k+1)\cdot \frac{1}{n^k}\cdot (n{p}_k{)}^k\cdot (1-\frac{\lambda }{n}+o(\frac{1}{n}){)}^{n-k}\\ =& [(1-\frac{1}{n})(1-\frac{2}{n})\cdots (1-\frac{k-1}{n})]\left[\frac{{\lambda }^k}{k!}\right][(1-\frac{\lambda }{n}{)}^{n-k}]\\ \to & \frac{{\lambda }^k}{k!}{e}^{-\lambda },n\to \mathrm{\infty }\end{array}$$

经典极限定理的推广

Bernoulli 大数定理的推广

Chebyshev 大数定律

Chebyshev 不等式

设 $X$ 是一个随机变量，则对于任意的 $\epsilon >0$，有

$$P(|X-EX|>ϵ)\le \frac{VarX}{{\epsilon }^2}$$

证明 Bernoulli 大数定理

$$\begin{array}{rl}P(|\frac{S_n}{n}-p|>\epsilon )& =P(|S_n-np|>n\epsilon )\\ & \le \frac{np(1-p)}{n^2{\epsilon }^2}\\ & =\frac{p(1-p)}{n{\epsilon }^2}\\ & \to 0,n\to \mathrm{\infty }\end{array}$$

假设 $X_k,k\ge 1$ 是一列随机变量，且 $E{X}_k={\mu }_k$，设 $S_n=\sum _{k=1}^n{X}_k$，若

$$\frac{Var{S}_n}{n^2}\to 0,n\to \mathrm{\infty }$$

则

$$\frac{S_n}{n}-\frac{\sum _{k=1}^n{\mu }_k}{n}\stackrel{P}{\to }0,n\to \mathrm{\infty }$$

特别的，若 $E{X}_k=\mu$，则

$$\frac{S_n}{n}\stackrel{P}{\to }\mu ,n\to \mathrm{\infty }$$

证明

首先有

$$E{S}_n=E\sum _{k=1}^n{X}_k=\sum _{k=1}^{n}E{X}_k=\sum _{k=1}^n{\mu }_k$$

对于 $\mathrm{\forall }\epsilon >0$，有

$$\begin{array}{rl}P(|\frac{S_n}{n}-\frac{\sum _{k=1}^n{\mu }_k}{n}|>\epsilon )& =P(|S_n-E{S}_n|>n\epsilon )\\ & \le \frac{Var{S}_n}{n^2{\epsilon }^2},\text{Chebyshev 不等式}\\ & \to 0,n\to \mathrm{\infty },\text{前提条件}\end{array}$$

揭示了 样本的均值渐近于总体的均值，且没有独立性要求。

缺点：要求方差存在。

应用

设 ${\xi }_k,k\ge 1$ 是一列独立的随机变量，有 ${\xi }_1\equiv 0$，且当 $k\ge 2$ 有

$$\begin{array}{rl}P({\xi }_k=k)=P({\xi }_k=-k)& =\frac{1}{2k\log k}\\ P({\xi }_k=0)& =1-\frac{1}{k\log k}\end{array}$$

记 $S_n=\sum _{k=1}^n{\xi }_k$，证明

$$\frac{S_n}{n}\stackrel{P}{\to }0,n\to \mathrm{\infty }$$

证明

由于 ${\xi }_k$ 不是同分布，故使用 Chebyshev 大数定律。

有 $E{\xi }_k=0$，$Var{\xi }_k=\frac{k}{\log k}$，故

$$\frac{Var{S}_n}{n^2}=\frac{1}{n^2}\sum _{k=1}^n\frac{k}{\log k}\sim \frac{1}{n^2}\frac{n^2}{\log n}\to 0,n\to \mathrm{\infty }$$

故

$$\frac{S_n}{n}\stackrel{P}{\to }0,n\to \mathrm{\infty }$$

Khintchine 大数定律

假设 $X_k,k\ge 1$ 是一列独立同分布的随机变量，$E{X}_k=\mu$，设 $S_n=\sum _{k=1}^n{X}_k$，则

$$\frac{S_n}{n}\stackrel{P}{\to }\mu ,n\to \mathrm{\infty }$$

de Moivre-Laplace 中心极限定理的推广

Levy-Feller 中心极限定理

设 $X_k,k\ge 1$ 是一列独立同分布的随机变量，$E{X}_k=\mu ,Var{X}_k={\sigma }^2$，设 $S_n=\sum _{k=1}^n{X}_k$，则

$$P(\frac{S_n-n\mu }{\sigma \sqrt{n}}\le x)\to \mathrm{\Phi }(x),\mathrm{\forall }x,n\to \mathrm{\infty }$$

即

$$\frac{S_n-n\mu }{\sigma \sqrt{n}}\stackrel{D}{\to }N(0,1),n\to \mathrm{\infty }$$

说明测量误差可以用正态分布描述。

Lyapunov 中心极限定理

设 $X_k,k\ge 1$ 是一列独立随机变量，$E{X}_k={\mu }_k,Var{X}_k={\sigma }_k^2$，设

$$S_n=\sum _{k=1}^n{X}_k,B_n=\sum _{k=1}^n{\sigma }_k^2$$

若

$$\begin{array}{rl}{B}_n& \to \mathrm{\infty },\\ E|X_k{|}^3& <\mathrm{\infty },\mathrm{\forall }k\\ \frac{\sum _{k=1}^{n}E|X_k{|}^3}{B_n^{3/2}}& \to 0,n\to \mathrm{\infty }\end{array}$$

则

$$P(\frac{\sum _{k=1}^n({\xi }_k-{\mu }_k)}{\sqrt{B_n}}\le x)\to \mathrm{\Phi }(x),\mathrm{\forall }x,n\to \mathrm{\infty }$$

即

$$\frac{\sum _{k=1}^n({\xi }_k-{\mu }_k)}{\sqrt{B_n}}\stackrel{D}{\to }N(0,1),n\to \mathrm{\infty }$$

Example

假设 ${\xi }_k,k\ge 1$ 是一列独立随机变量，且

$$P({\xi }_k=1)=p_k,P({\xi }_k=0)=1-p_k,0<p_k<1$$

若

$$B_n=\sum _{k=1}^n{p}_k(1-p_k)\to 0,n\to \mathrm{\infty }$$

则

$$\frac{\sum _{k=1}^n({\xi }_k-p_k)}{\sqrt{\sum _{k=1}^n{p}_k(1-p_k)}}\stackrel{D}{\to }N(0,1),n\to \mathrm{\infty }$$

依概率收敛

设 $X_n,n\ge 1$ 是一列随机变量，$X$ 是另一个随机变量，如果对于任意的 $\epsilon >0$，有

$$P(\omega :|X_n(\omega )-X(\omega )|>\epsilon )\to 0,n\to \mathrm{\infty }$$

则称 $X_n$ 依概率收敛到 $X$，记作 $X_n\stackrel{P}{\to }X$。（$X$ 可以是常数）

判别法则

若存在 $r>0$，使得

$$E|X_n-X{|}^r\to 0,n\to \mathrm{\infty }$$

则 $X_n\stackrel{P}{\to }X$。

基本性质

1. 唯一性

   若 $X_n\stackrel{P}{\to }X$，$X_n\stackrel{P}{\to }Y$，则 $X=Y$。

2. 运算性质：若 $X_n\stackrel{P}{\to }X$，$Y_n\stackrel{P}{\to }Y$，则

   • $X_n+Y_n\stackrel{P}{\to }X+Y$
   • $X_n{Y}_n\stackrel{P}{\to }XY$
   • 若 $Y\ne 0$，则 ${\displaystyle \frac{X_n}{Y_n}}\stackrel{P}{\to }{\displaystyle \frac{X}{Y}}$
   • 若 $g$ 连续，则 $g(X_n)\stackrel{P}{\to }g(X)$

依分布收敛

设 $X_n,n\ge 1$ 是一列随机变量，相应分布函数为 $F_n(x)$，$X$ 是另一个随机变量，分布函数为 $F(x)$，如果对于任意的 $F(x)$ 的连续点 $x$，有

$$F_n(x)\to F(x),n\to \mathrm{\infty }$$

则称 $X_n$ 依分布收敛到 $X$，记作 $X_n\stackrel{D}{\to }X$ 或 $F_n\stackrel{D}{\to }F$。

判别法则

Levy 连续性定理：设 $X_n,n\ge 1$ 是一列随机变量，具有相应特征函数 ${\phi }_n(t)$，$X$ 是另一个随机变量，特征函数为 $\phi (t)$，则

$$X_n\stackrel{D}{\to }X\iff {\phi }_n(t)\to \phi (t),t\in \mathbb{R},n\to \mathrm{\infty }$$

Levy 连续性定理的另一种形式

若 $X_n,n\ge 1$ 是一列随机变量，具有相应密度函数 ${\phi }_n(t)$，若

$${\phi }_n(t)\to \phi (t),t\in \mathbb{R},n\to \mathrm{\infty }$$

且 $\phi (t)$ 在 $0$ 处连续，则 $\phi (t)$ 一定是特征函数，对应的随机变量 $X$ 满足

$$X_n\stackrel{D}{\to }X,n\to \mathrm{\infty }$$

基本性质

1. 依概率收敛意味着依分布收敛

   若 $X_n\stackrel{P}{\to }X$，则 $X_n\stackrel{D}{\to }X$。

2. 依分布收敛不意味着依概率收敛

   特殊情况

   $$X_n\stackrel{D}{\to }c\Rightarrow X_n\stackrel{P}{\to }c$$

3. 运算性质

   1. 线性运算

      • 设 $X_n\stackrel{D}{\to }X$，$b_n\to b$，则 $X_n+b_n\stackrel{D}{\to }X+b$
      • 设 $X_n\stackrel{D}{\to }X$，$a_n\to a$，则 $a_n{X}_n\stackrel{D}{\to }aX$

   2. 设 $X_n\stackrel{D}{\to }X$，$Y_n\stackrel{D}{\to }c$，则 $X_n{Y}_n\stackrel{D}{\to }cX$

   3. 若 $g$ 连续，则 $g(X_n)\stackrel{D}{\to }g(X)$