线性代数 ZoomNotes

第 11 部分：基本统计

11.1 均值和方差：实际值与期望值

样本均值 (Sample Mean)：

$$\bar{\mu} = \frac{1}{N} \sum_{i=1}^N x_i$$

期望（总体）均值 (Expected/Population Mean)：

$$m = E[x] = \sum_i p_i x_i$$

其中 $p_i$ 是概率，满足 $\sum p_i = 1$。

大数定律 (Law of Large Numbers)： 当 $N \to \infty$ 时，样本均值收敛到期望均值：

$$\bar{\mu} \to m$$

样本方差 (Sample Variance)：

$$S^2 = \frac{1}{N-1} \sum_{i=1}^N (x_i - \bar{\mu})^2$$

分母中的 $N-1$（而非 $N$）是用于无偏估计的贝塞尔校正 (Bessel's correction)。

总体方差 (Population Variance)：

$$\sigma^2 = E[(x - m)^2] = \sum_i p_i (x_i - m)^2 = (\sum_i p_i x_i^2) - m^2$$

标准差 (Standard Deviation)： $\sigma = \sqrt{\sigma^2}$（与数据具有相同的量纲）。

---

11.2 概率分布：二项分布、泊松分布、正态分布

二项分布 (Binomial Distribution)： $\text{Bin}(n, p)$ 描述 $n$ 次独立试验中成功的次数，每次试验成功的概率为 $p$。

$$P(k \text{ successes}) = \binom{n}{k} p^k (1-p)^{n-k}, \quad k = 0, 1, \dots, n$$

• 均值：$\mu = np$
• 方差：$\sigma^2 = np(1-p)$

泊松分布 (Poisson Distribution)： 当 $n \to \infty$、$p \to 0$，且 $np \to \lambda$（固定值）时，二项分布的极限。用于建模稀有事件。

$$P(k \text{ events}) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \dots$$

• 均值：$\mu = \lambda$
• 方差：$\sigma^2 = \lambda$（均值等于方差！）

正态（高斯）分布 (Normal/Gaussian Distribution)： $\mathcal{N}(m, \sigma^2)$

$$p(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-m)^2}{2\sigma^2}\right)$$

标准正态分布 (Standard Normal)： $\mathcal{N}(0,1)$，概率密度为 $p(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}$。

中心极限定理 (Central Limit Theorem, CLT)： 来自任意分布（具有有限均值 $m$ 和方差 $\sigma^2$）的 $N$ 个独立样本的均值，当 $N \to \infty$ 时趋近于正态分布：

$$\frac{\bar{x} - m}{\sigma/\sqrt{N}} \to \mathcal{N}(0,1)$$

中心极限定理解释了为什么正态分布在统计学中无处不在。

---

11.3 协方差矩阵与联合概率

协方差 (Covariance) 衡量两个变量如何一起变化：

$$\text{Cov}(X,Y) = E[(X - E[X])(Y - E[Y])] = E[XY] - E[X]E[Y]$$

• 正协方差：$X$ 和 $Y$ 倾向于同向增减
• 负协方差：一个增加时另一个减少
• 零协方差：没有线性关系（但不意味着独立）

随机向量 $X = (X_1, \dots, X_n)^T$ 的协方差矩阵 (Covariance Matrix) $V$：

$$V = E[(X - m)(X - m)^T]$$

其中 $m = E[X]$。矩阵第 $(i,j)$ 项为 $\text{Cov}(X_i, X_j)$。对角线元素为方差 $\text{Var}(X_i) = \sigma_i^2$。

协方差矩阵的性质：

• $V$ 是对称的且半正定 (positive semidefinite)
• $V = \sum$ 秩为1的半正定矩阵之和
• $V$ 正定当且仅当各变量线性无关
• 对于独立变量，$V$ 是对角矩阵（协方差为零）

多元正态分布 (Multivariate Normal Distribution)：

$$p(\mathbf{x}) = \frac{1}{\sqrt{(2\pi)^n \det V}} \exp\left(-\frac{1}{2} (\mathbf{x} - \mathbf{m})^T V^{-1} (\mathbf{x} - \mathbf{m})\right)$$

等概率密度轮廓是由 $(\mathbf{x} - \mathbf{m})^T V^{-1} (\mathbf{x} - \mathbf{m}) = \text{constant}$ 定义的椭球体 (ellipsoids)，其主轴与 $V$ 的特征向量对齐，轴长正比于 $\sqrt{\lambda_i}$。

---

11.4 统计学的三个基本不等式

1. 马尔可夫不等式 (Markov's Inequality)： 对于非负随机变量 $X \geq 0$ 和 $a > 0$：

$$P(X \geq a) \leq \frac{E[X]}{a}$$

这仅利用均值给出了尾部概率的一个粗略上界。

2. 切比雪夫不等式 (Chebyshev's Inequality)： 对于任意具有均值 $m$ 和方差 $\sigma^2$ 的随机变量 $X$：

$$P(|X - m| \geq a) \leq \frac{\sigma^2}{a^2}$$

这仅利用方差给出了偏离均值概率的上界。它表明大部分概率质量集中在均值附近几个标准差之内。

3. 切尔诺夫不等式 (Chernoff's Inequality)： 对于独立随机变量之和 $S = \sum_{i=1}^n X_i$：

$$P(|S - E[S]| \geq t) \leq 2 \exp\left(-\frac{t^2}{2\sum \text{Var}(X_i)}\right)$$

这给出了指数级的尾部界限，远比切比雪夫不等式（仅给出 $1/a^2$ 的衰减）更为尖锐。切尔诺夫界对于理解测度集中现象至关重要，也是PAC学习理论的基础。

---

11.5 马尔可夫矩阵与马尔可夫链

马尔可夫矩阵 (Markov matrix)（也称随机矩阵 (stochastic matrix)）$M$ 满足：

• $M_{ij} \geq 0$（所有元素非负）
• 每列之和为 1（离开一个状态的概率被分配到其他状态）

Perron-Frobenius定理：

• 最大特征值为 $\lambda_{\max} = 1$
• 所有其他特征值满足 $|\lambda| \leq 1$
• 如果所有元素都是正数（不仅仅是非负），则对所有 $\lambda \neq 1$ 有 $|\lambda| < 1$
• $\lambda = 1$ 对应的特征向量所有分量均为正（在缩放意义下）

马尔可夫链 (Markov Chain)： 概率向量序列按如下方式演化：

$$p_{n+1} = M p_n = M^n p_0$$

每个分量 $p_n(i)$ 表示在第 $n$ 步时处于状态 $i$ 的概率。

稳态 (Steady State)： 平稳分布 (stationary distribution) $\pi$ 满足：

$$M \pi = \pi$$

即 $\pi$ 是 $M$ 对应于 $\lambda = 1$ 的特征向量，并经过缩放使其分量之和为 1。

收敛到稳态： 从 $p_n$ 到 $\pi$ 的距离以由第二特征值 $\lambda_2$ 控制的速率衰减：

$$\|p_n - \pi\| \approx |\lambda_2|^n \|p_0 - \pi\|$$

谱间隙 (spectral gap) $1 - |\lambda_2|$ 决定了马尔可夫链的混合时间 (mixing time)。间隙越大，收敛越快。

应用： 马尔可夫链在物理学、化学、经济学和计算机科学中建模各种随机过程——从 Google 的 PageRank 算法到蒙特卡洛模拟 (Monte Carlo simulations)。