概率论 第五章：大数定律和中心极限定理

第五章 大数定律和中心极限定理

5.1 切比雪夫不等式

定理：设随机变量$X$具有数学期望$E(X)=μ$，方差$D(X)=σ^2$，则对于任意正数$ε$，有：

$$P\{|X-E(X)|≥ε\}≤\frac{D(X)}{ε^2}$$

称这一不等式为切比雪夫不等式。

等价形式：

$$P\{|X-E(X)|<ε\}≥1-\frac {D(X)}{ε^2}$$

5.2 大数定律

（定性）

定义：设随机变量序列$X_1,X_2,…,X_n,…$，若存在随机变量，若存在随机变量$X$，使得对任意$ε>0$，有

$$lim_{n→{+\infty}}P\{|X_n-X|<ε\}=1$$

则称序列$X_1,X_2,…,X_n,…$依概率收敛于$X$，记为$X_n \stackrel{p}→X$

定理1(切比雪夫大数定律)：设$X_1,X_2,…,X_n,…$是一列两两不相关的随机变量序列，且方差有界，即存在常数$C＞0$，使得对任意$i$，都有$D(X_i)≤C$，令$Y_n=\frac 1 n \sum_{i=1}^{n}X_i$，则

$$Y_n \stackrel{P}→E(Y_n)$$

即对任意$ε>0$，

$$lim_{n→+\infty}P\{|Y_n-E(Y_n)|<ε\}=1$$

定理2(伯努利大数定律)：在$n$重伯努利实验中，设在每次试验中事件$A$发生的概率均为$p(0<p<1)$，$μ_n$为$n$重伯努利试验中事件$A$发生的次数，则

$$\frac {μ_n} n \stackrel{P}→p$$

即对任意$ε>0$，

$$lim_{n→+\infty}P\{|\frac {μ_n} n-p|<ε\}=1$$

定理3(辛钦大数定律)：设$X_1,X_2,…,X_n,…$是一列独立同分布的随机变量序列，且数学期望存在，即$E(X_i)=μ，i=1,2,…,n…$则

$$\frac 1 n \sum_{i=1}^{n}X_i \stackrel{P}→μ$$

即对任意$ε>0$,

$$lim_{n→\infty}P\{|\frac 1 n \sum_{i=1}^{n}X_i-μ|<ε\}=1$$

5.3 中心极限定理

（定量）

定理4：设随机变量序列$X_1,X_2,…,X_n,…$独立同分布，且$E(X_i)=μ$，$D(X_i)=σ^2>0$，则随机变量

$$Y_n=\frac {\sum_{i=1}^nX_i-nμ}{\sqrt n σ}$$

的分布函数$F_n(x)$满足：

$$lim_{n→\infty}F_n(x)=lim_{n→\infty}P\{Y_n≤x\}=\frac 1 {\sqrt {2π}}\int_{-\infty}^x e^{-\frac {y^2} 2}dy=Φ(x), x∈R$$

该定理表明，当$n→\infty$时，随机变量$Y_n$的分布将趋于标准正态分布$N(0,1)$。
当$n$充分大时，独立同分布的$n$个随机变量$X_1,X_2,…,X_n$之和$S_n=\sum_{i=1}^n X_i$将近似地服从正态分布$N(nμ,nσ^2)$。

定理（棣莫弗·拉普拉斯定理）：设在独立重复序列中，事件$A$发生的概率为$p$，随机变量$Y_n$表示事件$A$在$n$次试验中发生的次数，则对于任意实数$x$，

$$lim_{n→\infty}P\{\frac {Y_n-np}{\sqrt{np(1-p)}}≤x\}=\frac 1 {\sqrt {2π}}\int_{-\infty}^x e^{-\frac {y^2} 2}dy=Φ(x)$$

（二项分布的极限分布是正态分布）