本章目录

§1.1

试验与事件

定义 1.1 — 随机试验

满足以下条件的试验称为随机试验

  1. 试验可以在相同条件下重复进行;
  2. 试验的所有可能结果是已知的,且不止一个;
  3. 每次试验前不能确定会出现哪个结果。
定义 1.2 — 样本空间与随机事件

样本空间 ($\Omega$):随机试验所有可能结果的集合。

样本点 (ω):样本空间中的每一个元素,即试验的每一个可能结果。

随机事件:样本空间的子集,通常用大写字母 A, B, C 等表示。

事件的运算公式

事件的运算公式就是集合的运算公式:

$$A \cup B = B \cup A, \quad A \cap B = B \cap A$$
$$A \cup (B \cup C) = A \cup B \cup C, \quad A \cap (B \cap C) = A \cap B \cap C$$
$$A(B \cup C) = AB \cup AC, \quad A \cup BC = (A \cup B)(A \cup C)$$

德摩根公式:

$$\overline{\bigcup_{j=1}^{n} A_j} = \bigcap_{j=1}^{n} \bar{A}_j, \quad \overline{\bigcap_{j=1}^{n} A_j} = \bigcup_{j=1}^{n} \bar{A}_j$$

证明思路:对于任意样本点 ω,

$\omega \in$ 左边 $\Leftrightarrow$ $\omega$ 不属于任何 $A_j$ $\Leftrightarrow$ 对所有 j,$\omega \in \bar{A}_j$ $\Leftrightarrow$ $\omega \in$ 右边

注意

事件 A 与 B 互斥 ($AB = \emptyset$) 与事件 A 与 B 对立 ($A = \bar{B}$) 是不同的概念。对立一定互斥,但互斥不一定对立。

韦恩图交互演示
通过可视化韦恩图,直观理解事件的并、交、补等运算关系
练习 1.1
  • 1 证明事件的运算公式:$A \cup B = A + \bar{A}B$,$A = AB + A\bar{B}$
  • 2 用集合的运算表达以下事件:(a) A 发生,B 和 C 不发生;(b) A 不发生,B 和 C 发生
§1.2

古典概型

定义 2.1 — 古典概率

设试验 S 的样本空间 $\Omega$ 是有限集合,$A \subset \Omega$。如果 $\Omega$ 的每个样本点发生的可能性相同,则称

古典概率公式
$$P(A) = \frac{\#A}{\#\Omega} = \frac{\text{事件 A 包含的样本点数}}{\text{样本空间的样本点总数}}$$
(2.1)

为试验 S 下 A 发生的概率,简称事件 A 的概率。能够用定义 2.1 描述的模型称为古典概率模型,简称古典概型

古典概率的性质

从定义 2.1 可以看出,概率 P 有以下性质:

$$(1)\ P(A) \geq 0$$
$$(2)\ P(\Omega) = 1$$
$$(3)\ \text{如果 } A, B \text{ 不相容,则 } P(A+B) = P(A) + P(B)$$
$$(4)\ \text{如果 } A_1, A_2, \cdots, A_n \text{ 互不相容,则}$$ $$P(A_1 + A_2 + \cdots + A_n) = P(A_1) + P(A_2) + \cdots + P(A_n)$$
$$(5)\ P(\emptyset) = 0,\ P(A) + P(\bar{A}) = 1,\ P(A) = P(AB) + P(A\bar{B})$$
例 2.1 — 掷硬币

掷一枚均匀的硬币,用 A 表示正面朝上。求 P(A)。

解:

样本空间 $\Omega$ = {正面,反面},故 #$\Omega$ = 2。

事件 A = {正面},故 #A = 1。

由古典概率公式:

$$P(A) = \frac{\#A}{\#\Omega} = \frac{1}{2}$$
例 2.4 — 取球问题

在 4 个白球、6 个红球中任取 4 个,求取到 2 个白球和 2 个红球的概率。

解:

用 A 表示取到 2 个白球和 2 个红球。

样本空间:从 10 个球中任取 4 个的所有取法,$\#\Omega = C_{10}^4$

事件 A:从 4 个白球中取 2 个,从 6 个红球中取 2 个,$\#A = C_4^2 \cdot C_6^2$

$$P(A) = \frac{C_4^2 \cdot C_6^2}{C_{10}^4} = \frac{6 \times 15}{210} = \frac{3}{7}$$
生日悖论交互演示
探索经典的生日问题:在多少人的群体中,至少有两人生日相同的概率超过 50%?
§1.3

几何概率

定义 — 几何概率

设样本空间 $\Omega$ 是一个可度量的几何区域,其度量(长度、面积或体积)为 $S_\Omega$。如果样本点落入 $\Omega$ 中任何区域的概率与该区域的度量成正比,则事件 A(即 $\Omega$ 的某个子区域)的概率为:

几何概率公式
$$P(A) = \frac{S_A}{S_\Omega} = \frac{\text{区域 A 的度量}}{\text{样本空间 $\Omega$ 的度量}}$$
例 — 会面问题

甲乙两人约定在 0 到 1 小时内的某时刻在某地会面,先到者等待另一人 20 分钟后离去。求两人能会面的概率。

解:

设甲、乙到达时刻分别为 x, y(以小时为单位),则样本空间为:

$$\Omega = \{(x,y): 0 \leq x \leq 1, 0 \leq y \leq 1\}$$

两人能会面的条件是 $|x - y| \leq \frac{1}{3}$(20分钟 = 1/3小时),即事件 A。

$$P(A) = \frac{S_A}{S_\Omega} = \frac{1 - 2 \times \frac{1}{2} \times (\frac{2}{3})^2}{1} = 1 - \frac{4}{9} = \frac{5}{9}$$
注意

几何概率是古典概率的推广,将有限等可能推广到无限等可能(连续情形)。几何概率的计算关键在于正确建立几何模型。

§1.4

概率空间

定义 — $\sigma$-代数

设 $\Omega$ 是样本空间,$\mathcal{F}$ 是 $\Omega$ 的某些子集构成的集合。如果 $\mathcal{F}$ 满足:

  1. $\Omega \in \mathcal{F}$
  2. 若 $A \in \mathcal{F}$,则 $\bar{A} \in \mathcal{F}$(对补运算封闭)
  3. 若 $A_n \in \mathcal{F}$($n = 1, 2, \cdots$),则 $\bigcup_{n=1}^{\infty} A_n \in \mathcal{F}$(对可列并封闭)

则称 $\mathcal{F}$ 为 $\Omega$ 上的一个 $\sigma$-代数(或 $\sigma$-域)。

定义 — 概率测度

设 $\mathcal{F}$ 是 $\Omega$ 上的 $\sigma$-代数,P 是定义在 $\mathcal{F}$ 上的实值函数。如果 P 满足:

  1. 非负性:对任意 $A \in \mathcal{F}$,$P(A) \geq 0$
  2. 规范性:$P(\Omega) = 1$
  3. 可列可加性:若 $A_1, A_2, \cdots$ 两两互斥,则 $P(\bigcup_{n=1}^{\infty} A_n) = \sum_{n=1}^{\infty} P(A_n)$

则称 P 为 $\mathcal{F}$ 上的概率测度,简称概率

定义 — 概率空间

三元组 $(\Omega, \mathcal{F}, P)$ 称为概率空间,其中:

  1. $\Omega$ 是样本空间
  2. $\mathcal{F}$ 是 $\Omega$ 上的 $\sigma$-代数(事件域)
  3. P 是 $\mathcal{F}$ 上的概率测度
注意

概率空间是概率论的公理化基础。在实际应用中,我们通常不需要显式地构造概率空间,但理解其结构有助于深入理解概率论的本质。

§1.5

概率的性质

概率的加法公式

两个事件的加法公式:

$$P(A \cup B) = P(A) + P(B) - P(AB)$$

三个事件的加法公式:

$$P(A \cup B \cup C) = P(A) + P(B) + P(C) - P(AB) - P(BC) - P(AC) + P(ABC)$$

n 个事件的加法公式(容斥原理):

$$P(\bigcup_{i=1}^{n} A_i) = \sum_{i} P(A_i) - \sum_{i < j} P(A_i A_j) + \sum_{i < j < k} P(A_i A_j A_k) - \cdots + (-1)^{n-1} P(A_1 A_2 \cdots A_n)$$
概率的连续性

单调递增序列的极限:

若 $A_1 \subset A_2 \subset \cdots$,则

$$P(\bigcup_{n=1}^{\infty} A_n) = \lim_{n \to \infty} P(A_n)$$

单调递减序列的极限:

若 $A_1 \supset A_2 \supset \cdots$,则

$$P(\bigcap_{n=1}^{\infty} A_n) = \lim_{n \to \infty} P(A_n)$$
其他重要性质

减法公式:若 $B \subset A$,则 $P(A - B) = P(A) - P(B)$

单调性:若 $B \subset A$,则 $P(B) \leq P(A)$

次可加性:$P(\bigcup_{i=1}^{n} A_i) \leq \sum_{i=1}^{n} P(A_i)$

§1.6

条件概率和乘法公式

定义 — 条件概率

设 A, B 是两个事件,且 $P(B) > 0$。在事件 B 发生的条件下,事件 A 发生的条件概率定义为:

条件概率公式
$$P(A|B) = \frac{P(AB)}{P(B)}$$
直观理解

条件概率 P(A|B) 的几何意义:在已知 B 发生的前提下,将样本空间"缩小"为 B,然后计算 A 在新样本空间中所占的比例。

乘法公式

两个事件的乘法公式:

$$P(AB) = P(B) \cdot P(A|B) = P(A) \cdot P(B|A)$$

n 个事件的乘法公式:

$$P(A_1 A_2 \cdots A_n) = P(A_1) \cdot P(A_2|A_1) \cdot P(A_3|A_1 A_2) \cdots P(A_n|A_1 A_2 \cdots A_{n-1})$$
例 — 不放回抽样

袋中有 5 个白球和 3 个黑球。不放回地依次取出 2 个球,求第一个是白球且第二个也是白球的概率。

解:

设 $A_1$ = "第一个是白球",$A_2$ = "第二个是白球"。

由乘法公式:

$$P(A_1 A_2) = P(A_1) \cdot P(A_2|A_1) = \frac{5}{8} \times \frac{4}{7} = \frac{20}{56} = \frac{5}{14}$$
§1.7

事件的独立性

定义 — 两个事件的独立性

设 A, B 是两个事件。如果满足:

独立性条件
$$P(AB) = P(A) \cdot P(B)$$

则称事件 A 与 B 相互独立

独立与互斥的区别

互斥:$P(AB) = 0$(A 和 B 不能同时发生)

独立:$P(AB) = P(A)P(B)$(A 的发生不影响 B 发生的概率)

两个概念完全不同。若 $P(A) > 0$,$P(B) > 0$,则 A, B 互斥时必不独立。

定义 — 多个事件的独立性

设 $A_1, A_2, \cdots, A_n$ 是 n 个事件。如果对于其中任意 2 个、3 个、...、n 个事件的积,都有:

$$P(A_i A_j) = P(A_i) P(A_j), \quad i \ne j$$
$$P(A_i A_j A_k) = P(A_i) P(A_j) P(A_k), \quad i \ne j \ne k$$
$$\vdots$$
$$P(A_1 A_2 \cdots A_n) = P(A_1) P(A_2) \cdots P(A_n)$$

则称 $A_1, A_2, \cdots, A_n$ 相互独立

独立性的性质

若 A, B 独立,则以下各对事件也独立:

  1. A 与 $\bar{B}$
  2. $\bar{A}$ 与 B
  3. $\bar{A}$ 与 $\bar{B}$
例 — 系统可靠性

某系统由两个独立工作的元件串联而成,元件 1、2 的可靠性(正常工作的概率)分别为 0.9 和 0.8。求系统的可靠性。

解:

设 $A_i$ = "元件 i 正常工作",则 $P(A_1) = 0.9$,$P(A_2) = 0.8$。

串联系统正常工作需要两个元件都正常,由独立性:

$$P(A_1 A_2) = P(A_1) \cdot P(A_2) = 0.9 \times 0.8 = 0.72$$
§1.8

全概率公式与贝叶斯公式

定义 — 样本空间的分割

设 $B_1, B_2, \cdots, B_n$ 是一组事件,如果满足:

  1. $B_i B_j = \emptyset$,当 $i \ne j$(两两互斥)
  2. $B_1 + B_2 + \cdots + B_n = \Omega$(完备)

则称 $\{B_1, B_2, \cdots, B_n\}$ 是样本空间 $\Omega$ 的一个分割(或完备事件组)。

定理 — 全概率公式

设 $\{B_1, B_2, \cdots, B_n\}$ 是样本空间的一个分割,且 $P(B_i) > 0$,则对任意事件 A:

全概率公式
$$P(A) = \sum_{i=1}^{n} P(B_i) P(A|B_i)$$

证明:

由于 $\{B_1, B_2, \cdots, B_n\}$ 是分割,所以

$$A = A\Omega = A(B_1 + B_2 + \cdots + B_n) = AB_1 + AB_2 + \cdots + AB_n$$

且 $AB_1, AB_2, \cdots, AB_n$ 两两互斥,由概率的可加性:

$$P(A) = \sum_{i=1}^{n} P(AB_i) = \sum_{i=1}^{n} P(B_i)P(A|B_i)$$
定理 — 贝叶斯 (Bayes) 公式

设 $\{B_1, B_2, \cdots, B_n\}$ 是样本空间的一个分割,$P(A) > 0$,$P(B_i) > 0$,则:

贝叶斯公式
$$P(B_k|A) = \frac{P(B_k)P(A|B_k)}{\sum_{i=1}^{n} P(B_i)P(A|B_i)}$$
理解贝叶斯公式

先验概率:$P(B_k)$ — 在观察到事件 A 之前,对 $B_k$ 发生概率的估计

后验概率:$P(B_k|A)$ — 在观察到事件 A 发生后,对 $B_k$ 发生概率的更新

似然:$P(A|B_k)$ — 在 $B_k$ 发生的条件下观察到 A 的概率

贝叶斯公式交互演示
以医疗筛查为例,直观理解先验概率如何在新证据下更新为后验概率