本章目录

§7.1

点估计和估计量的评选标准

定义 — 点估计

设总体 $X$ 的分布函数 $F(x; \theta)$ 含有未知参数 $\theta$，$X_1, X_2, \cdots, X_n$ 是来自总体的样本。

构造一个适当的统计量 $\hat{\theta} = \hat{\theta}(X_1, X_2, \cdots, X_n)$ 作为参数 $\theta$ 的估计值，称为 $\theta$ 的点估计量，简称估计量。

矩估计法

基本思想：用样本矩估计总体矩，建立方程组求解未知参数。

步骤：

1. 计算总体的各阶矩 $\mu_k = E(X^k)$（含未知参数 $\theta_1, \cdots, \theta_m$）

2. 用样本矩 $A_k = \frac{1}{n}\sum_{i=1}^{n} X_i^k$ 代替总体矩 $\mu_k$

3. 解方程组 $A_k = \mu_k$（$k = 1, 2, \cdots, m$）得到参数估计

常用矩估计
$$\hat{\mu} = \bar{X}, \quad \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i - \bar{X})^2 = B_2$$
最大似然估计法

基本思想：选择使样本出现概率最大的参数值作为估计。

似然函数：

离散型：$L(\theta) = \prod_{i=1}^{n} P(X_i = x_i; \theta)$

连续型：$L(\theta) = \prod_{i=1}^{n} f(x_i; \theta)$

最大似然估计：使 $L(\theta)$ 达到最大的 $\hat{\theta}$

似然方程
$$\frac{\partial \ln L(\theta)}{\partial \theta} = 0$$

求解步骤：

1. 写出似然函数 $L(\theta)$

2. 取对数得 $\ln L(\theta)$

3. 对 $\theta$ 求导并令其等于零

4. 解方程得最大似然估计 $\hat{\theta}$

例 — 正态分布的最大似然估计

设 $X_1, \cdots, X_n$ 来自 $N(\mu, \sigma^2)$，求 $\mu$ 和 $\sigma^2$ 的最大似然估计。

解：

似然函数：

$$L(\mu, \sigma^2) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(x_i - \mu)^2}{2\sigma^2}\right)$$

对数似然：

$$\ln L = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln\sigma^2 - \frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i - \mu)^2$$

令偏导数为零，解得：

$$\hat{\mu} = \bar{X}, \quad \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i - \bar{X})^2$$
§7.2

估计量的评选标准

定义 — 无偏性

若估计量 $\hat{\theta}$ 满足

无偏性
$$E(\hat{\theta}) = \theta$$

则称 $\hat{\theta}$ 是 $\theta$ 的无偏估计量。

例：$\bar{X}$ 是 $\mu$ 的无偏估计；$S^2$ 是 $\sigma^2$ 的无偏估计；$B_2 = \frac{1}{n}\sum(X_i - \bar{X})^2$ 不是 $\sigma^2$ 的无偏估计。

定义 — 有效性

设 $\hat{\theta}_1$ 和 $\hat{\theta}_2$ 都是 $\theta$ 的无偏估计，若

$$D(\hat{\theta}_1) \le D(\hat{\theta}_2)$$

则称 $\hat{\theta}_1$ 比 $\hat{\theta}_2$ 更有效。

方差越小，估计量越集中在真值附近，估计精度越高。

定义 — 相合性（一致性）

若当 $n \to \infty$ 时，估计量 $\hat{\theta}_n$ 依概率收敛于 $\theta$：

相合性
$$\hat{\theta}_n \xrightarrow{P} \theta$$

则称 $\hat{\theta}_n$ 是 $\theta$ 的相合估计量（一致估计量）。

相合性意味着样本量越大，估计越准确。

最小方差无偏估计

在所有无偏估计中，方差最小的称为最小方差无偏估计（MVUE）。

克拉美-拉奥不等式：无偏估计量方差的下界为

$$D(\hat{\theta}) \ge \frac{1}{nI(\theta)}$$

其中 $I(\theta) = E\left[\left(\frac{\partial \ln f(X;\theta)}{\partial \theta}\right)^2\right]$ 是 Fisher 信息量。

评选标准小结

无偏性：估计量的期望等于真值（无系统偏差）

有效性：在无偏估计中方差最小（精度高）

相合性：样本量趋于无穷时估计量收敛于真值（大样本性质）

§7.3

置信区间和正态总体的置信区间

定义 — 置信区间

设总体 $X$ 的分布含未知参数 $\theta$，对于给定的 $\alpha$（$0 < \alpha < 1$），若统计量 $\hat{\theta}_L$ 和 $\hat{\theta}_U$ 满足

$$P(\hat{\theta}_L < \theta < \hat{\theta}_U) = 1 - \alpha$$

则称区间 $(\hat{\theta}_L, \hat{\theta}_U)$ 为 $\theta$ 的置信度（置信水平）为 $1 - \alpha$ 的置信区间。

$\hat{\theta}_L$ 称为置信下限，$\hat{\theta}_U$ 称为置信上限。

置信区间的含义

置信区间是一个随机区间。"置信度为 95%"意味着：若重复抽样多次，约有 95% 的区间会包含真实参数值。

正态总体均值的置信区间

设 $X_1, \cdots, X_n$ 来自 $N(\mu, \sigma^2)$，置信度为 $1 - \alpha$：

情形1：$\sigma^2$ 已知

枢轴量：$\frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \sim N(0, 1)$

$$\mu \in \left(\bar{X} - z_{\alpha/2} \frac{\sigma}{\sqrt{n}}, \bar{X} + z_{\alpha/2} \frac{\sigma}{\sqrt{n}}\right)$$

情形2：$\sigma^2$ 未知

枢轴量：$\frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$

$$\mu \in \left(\bar{X} - t_{\alpha/2}(n-1) \frac{S}{\sqrt{n}}, \bar{X} + t_{\alpha/2}(n-1) \frac{S}{\sqrt{n}}\right)$$
正态总体方差的置信区间

设 $X_1, \cdots, X_n$ 来自 $N(\mu, \sigma^2)$，$\mu$ 未知，置信度为 $1 - \alpha$：

枢轴量：$\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$

$$\sigma^2 \in \left(\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)}, \frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right)$$
例 — 构造置信区间

从正态总体中抽取 $n = 16$ 个样本，得 $\bar{x} = 50$，$s = 4$。求总体均值 $\mu$ 的 95% 置信区间。

解：

$\sigma^2$ 未知，用 $t$ 分布。$\alpha = 0.05$，$t_{0.025}(15) = 2.131$

$$\bar{x} \pm t_{\alpha/2}(n-1) \frac{s}{\sqrt{n}} = 50 \pm 2.131 \times \frac{4}{\sqrt{16}} = 50 \pm 2.131$$

95% 置信区间为 $(47.869, 52.131)$

单侧置信区间

置信下限：$P(\theta > \hat{\theta}_L) = 1 - \alpha$

置信上限：$P(\theta < \hat{\theta}_U) = 1 - \alpha$

例：$\mu$ 的单侧置信下限（$\sigma$ 未知）：$\hat{\mu}_L = \bar{X} - t_\alpha(n-1) \frac{S}{\sqrt{n}}$