本章目录

§5.1

概率母函数

定义 — 概率母函数

设非负整数值随机变量 $X$ 的分布律为 $P(X = k) = p_k$，定义

概率母函数
$$G(s) = E(s^X) = \sum_{k=0}^{\infty} p_k s^k$$

为 $X$ 的概率母函数（PGF）。

概率母函数的性质

1. $G(1) = 1$，$p_k = G^{(k)}(0)/k!$

2. $E(X) = G'(1)$，$D(X) = G''(1) + G'(1) - [G'(1)]^2$

3. 若 $X, Y$ 独立，则 $G_{X+Y}(s) = G_X(s) \cdot G_Y(s)$

§5.2

特征函数

定义 — 特征函数

设随机变量 $X$ 的分布函数为 $F(x)$，定义

特征函数
$$\varphi(t) = E(e^{itX}) = \int_{-\infty}^{+\infty} e^{itx} dF(x)$$

为 $X$ 的特征函数。离散型：$\varphi(t) = \sum_k p_k e^{itx_k}$；连续型：$\varphi(t) = \int e^{itx} f(x) dx$

特征函数的性质

1. $\varphi(0) = 1$，$|\varphi(t)| \le 1$

2. 若 $E(X^n)$ 存在，则 $\varphi^{(n)}(0) = i^n E(X^n)$

3. 若 $X, Y$ 独立，则 $\varphi_{X+Y}(t) = \varphi_X(t) \cdot \varphi_Y(t)$

4. 若 $Y = aX + b$，则 $\varphi_Y(t) = e^{ibt} \varphi_X(at)$

正态分布 $N(\mu, \sigma^2)$：$\varphi(t) = \exp(i\mu t - \frac{1}{2}\sigma^2 t^2)$

§5.3

多元正态分布

定义 — 多元正态分布

若 $n$ 维随机向量 $\mathbf{X}$ 的特征函数为 $\varphi(\mathbf{t}) = \exp(i\boldsymbol{\mu}^T \mathbf{t} - \frac{1}{2} \mathbf{t}^T \boldsymbol{\Sigma} \mathbf{t})$，则 $\mathbf{X} \sim N_n(\boldsymbol{\mu}, \boldsymbol{\Sigma})$。

性质

1. 任意线性组合服从一元正态分布

2. 分量之间不相关等价于独立

3. 若 $\mathbf{Y} = \mathbf{A}\mathbf{X} + \mathbf{b}$，则 $\mathbf{Y} \sim N(\mathbf{A}\boldsymbol{\mu} + \mathbf{b}, \mathbf{A}\boldsymbol{\Sigma}\mathbf{A}^T)$

§5.4

大数律

定义 — 依概率收敛

若对任意 $\varepsilon > 0$，$\lim_{n \to \infty} P(|X_n - X| \ge \varepsilon) = 0$，则称 $X_n \xrightarrow{P} X$。

辛钦大数律

设 $X_1, X_2, \cdots$ 独立同分布，$E(X_i) = \mu$，则

$$\bar{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i \xrightarrow{P} \mu$$
伯努利大数律

设 $n_A$ 是 $n$ 次独立重复试验中 $A$ 发生的次数，$p = P(A)$，则 $\frac{n_A}{n} \xrightarrow{P} p$（频率收敛于概率）。

§5.5

中心极限定理

林德伯格-列维中心极限定理

设 $X_1, X_2, \cdots$ 独立同分布，$E(X_i) = \mu$，$D(X_i) = \sigma^2 > 0$，则

中心极限定理
$$\frac{\sum_{i=1}^{n} X_i - n\mu}{\sqrt{n}\sigma} \xrightarrow{d} N(0, 1)$$
意义

无论总体服从什么分布，只要方差有限，大量独立同分布随机变量的和近似服从正态分布。这解释了正态分布的普遍性。

棣莫弗-拉普拉斯定理

设 $S_n \sim B(n, p)$，则 $\frac{S_n - np}{\sqrt{np(1-p)}} \xrightarrow{d} N(0, 1)$

应用：当 $n$ 较大时，$B(n, p) \approx N(np, np(1-p))$