数学期望
设离散型随机变量 $X$ 的分布律为 $P(X = x_k) = p_k$，若级数 $\sum_k x_k p_k$ 绝对收敛，则定义
为 $X$ 的数学期望（或期望、均值）。
设连续型随机变量 $X$ 的密度函数为 $f(x)$，若积分 $\int_{-\infty}^{+\infty} x f(x) \, dx$ 绝对收敛，则定义
为 $X$ 的数学期望。
设 $Y = g(X)$，则：
离散型：$E(Y) = E(g(X)) = \sum_k g(x_k) p_k$
连续型：$E(Y) = E(g(X)) = \int_{-\infty}^{+\infty} g(x) f(x) \, dx$
对于二维随机向量 $(X, Y)$ 和函数 $Z = g(X, Y)$：
| 分布 | 记号 | 期望 $E(X)$ |
|---|---|---|
| 两点分布 | $B(1, p)$ | $p$ |
| 二项分布 | $B(n, p)$ | $np$ |
| 泊松分布 | $P(\lambda)$ | $\lambda$ |
| 几何分布 | $Ge(p)$ | $1/p$ |
| 均匀分布 | $U(a, b)$ | $(a+b)/2$ |
| 指数分布 | $Exp(\lambda)$ | $1/\lambda$ |
| 正态分布 | $N(\mu, \sigma^2)$ | $\mu$ |
数学期望的性质
设 $X, Y$ 的期望存在，$a, b, c$ 为常数，则：
1. $E(c) = c$
2. $E(aX) = aE(X)$
3. $E(X + Y) = E(X) + E(Y)$（对任意有限个随机变量成立）
4. $E(aX + bY + c) = aE(X) + bE(Y) + c$
5. 若 $X, Y$ 独立，则 $E(XY) = E(X)E(Y)$
期望的线性性质对任意随机变量成立（无需独立），但乘积的期望等于期望的乘积需要独立性条件。
随机变量的方差
设随机变量 $X$ 的期望为 $E(X) = \mu$，若 $E[(X - \mu)^2]$ 存在，则定义
为 $X$ 的方差。$\sqrt{D(X)}$ 称为标准差（或均方差）。
1. $D(c) = 0$（常数的方差为零）
2. $D(aX + b) = a^2 D(X)$
3. $D(X) = E(X^2) - [E(X)]^2$（计算公式）
4. 若 $X, Y$ 独立，则 $D(X + Y) = D(X) + D(Y)$
5. $D(X) = 0$ 当且仅当 $P(X = c) = 1$（$c$ 为常数）
| 分布 | 记号 | 方差 $D(X)$ |
|---|---|---|
| 两点分布 | $B(1, p)$ | $p(1-p)$ |
| 二项分布 | $B(n, p)$ | $np(1-p)$ |
| 泊松分布 | $P(\lambda)$ | $\lambda$ |
| 均匀分布 | $U(a, b)$ | $(b-a)^2/12$ |
| 指数分布 | $Exp(\lambda)$ | $1/\lambda^2$ |
| 正态分布 | $N(\mu, \sigma^2)$ | $\sigma^2$ |
设随机变量 $X$ 的期望 $E(X) = \mu$，方差 $D(X) = \sigma^2$，则对任意 $\varepsilon > 0$：
或等价地：$P(|X - \mu| < \varepsilon) \ge 1 - \frac{\sigma^2}{\varepsilon^2}$
协方差和相关系数
设 $(X, Y)$ 是二维随机向量，定义
为 $X$ 与 $Y$ 的协方差。
1. $\text{Cov}(X, X) = D(X)$
2. $\text{Cov}(X, Y) = \text{Cov}(Y, X)$（对称性）
3. $\text{Cov}(aX, bY) = ab \cdot \text{Cov}(X, Y)$
4. $\text{Cov}(X_1 + X_2, Y) = \text{Cov}(X_1, Y) + \text{Cov}(X_2, Y)$
5. $D(X \pm Y) = D(X) + D(Y) \pm 2\text{Cov}(X, Y)$
6. 若 $X, Y$ 独立，则 $\text{Cov}(X, Y) = 0$（反之不一定成立）
设 $D(X) > 0$，$D(Y) > 0$，定义
为 $X$ 与 $Y$ 的相关系数。
1. $|\rho_{XY}| \le 1$
2. $|\rho_{XY}| = 1$ 当且仅当存在常数 $a, b$（$a \ne 0$）使得 $P(Y = aX + b) = 1$
3. $\rho_{XY} = 0$ 时称 $X$ 与 $Y$ 不相关
4. 独立 $\Rightarrow$ 不相关，但不相关 $\not\Rightarrow$ 独立
5. 对于二维正态分布，不相关 $\Leftrightarrow$ 独立
独立描述的是两个随机变量之间没有任何关系；不相关只说明两个随机变量之间没有线性关系。独立是更强的条件。
条件数学期望和熵
设 $(X, Y)$ 是二维随机向量。在给定 $Y = y$ 的条件下，$X$ 的条件期望定义为：
离散型：$E(X | Y = y) = \sum_i x_i P(X = x_i | Y = y)$
连续型：$E(X | Y = y) = \int_{-\infty}^{+\infty} x f_{X|Y}(x|y) \, dx$
$E(X | Y)$ 是 $Y$ 的函数，作为随机变量，有：
即总方差 = 组内方差的期望 + 组间方差