线性代数 ZoomNotes

第 4 部分：正交矩阵与最小二乘

4.1 四个子空间的正交性 (Orthogonality of the Four Subspaces)

正交向量 (Orthogonal vectors): $x \perp y$ 意味着 $x^T y = 0$。

正交子空间 (Orthogonal subspaces): 如果子空间 $V$ 中的每个向量都与子空间 $W$ 中的每个向量正交，则称 $V$ 与 $W$ 正交。

基本正交性 (Fundamental Orthogonality):

• 行空间 (Row space) $C(A^T)$ $\perp$ 零空间 (Nullspace) $N(A)$
• 列空间 (Column space) $C(A)$ $\perp$ 左零空间 (Left nullspace) $N(A^T)$

证明 (Proof): 对于 $N(A)$ 中的任意 $x$，有 $Ax = 0$，这意味着 $A$ 的每一行（行空间的一组基）都与 $x$ 正交。第二对关系类似地利用 $A^T$ 证明。

整体图景 (The Big Picture): 行空间与零空间存在于 $\mathbb{R}^n$ 中；列空间与左零空间存在于 $\mathbb{R}^m$ 中。这些正交子空间不仅仅是正交的——它们还是正交补 (orthogonal complements)：它们合起来张成整个空间。

分解 (Decomposition): 每个 $x \in \mathbb{R}^n$ 可以唯一地写成：

$$x = x_{\text{row}} + x_{\text{null}}$$

其中 $x_{\text{row}} \in C(A^T)$ 且 $x_{\text{null}} \in N(A)$。对 $\mathbb{R}^m$ 有类似结论。

---

4.2 子空间上的投影 (Projections onto Subspaces)

沿通过 $a$ 的直线上的投影 (Projection onto a line through $a$):

$$p = \frac{a a^T}{a^T a} \, b = \frac{a^T b}{a^T a} \, a$$

直线的投影矩阵 (Projection matrix)：

$$P = \frac{a a^T}{a^T a}$$

性质: $P^2 = P$ (幂等, idempotent)，$P^T = P$ (对称, symmetric)。

子空间上的投影 (Projection onto a subspace): 给定一个具有独立列的矩阵 $A$，$b$ 到 $C(A)$ 上的投影为：

$$p = A \hat{x} \quad \text{where} \quad A^T A \hat{x} = A^T b$$

子空间的投影矩阵 (Projection matrix)：

$$P = A (A^T A)^{-1} A^T$$

投影矩阵的性质 (Properties of projection matrices):

• $P^2 = P$ (投影两次等价于投影一次)
• $P^T = P$ (对称)
• $I - P$ 是到正交补上的投影
• $P$ 投影到 $C(A)$ 上；$I - P$ 投影到 $N(A^T)$ 上

---

4.3 最小二乘逼近 (回归)：$A^T A \hat{x} = A^T b$

当 $Ax = b$ 无解时（因为 $b$ 不在 $C(A)$ 中），我们通过最小化 $\|b - Ax\|^2$ 来寻找最佳逼近。

正规方程 (The Normal Equations):

$$A^T A \hat{x} = A^T b$$

为什么这行得通: 误差 $e = b - A\hat{x}$ 与 $C(A)$ 正交，因此 $A^T e = 0$，即 $A^T (b - A\hat{x}) = 0$，从而得到 $A^T A \hat{x} = A^T b$。

最佳拟合直线 (线性回归, Best Fit Line / Linear Regression): 给定 $m$ 个点 $(t_1, y_1), \dots, (t_m, y_m)$，找出直线 $y = C + Dt$ 使得误差平方和最小。

构造 $A = \begin{bmatrix} 1 & t_1 \\ 1 & t_2 \\ \vdots & \vdots \\ 1 & t_m \end{bmatrix}$, $x = \begin{bmatrix} C \\ D \end{bmatrix}$, $b = \begin{bmatrix} y_1 \\ \vdots \\ y_m \end{bmatrix}$。

求解 $A^T A \hat{x} = A^T b$：

$$\begin{bmatrix} m & \sum t_i \\ \sum t_i & \sum t_i^2 \end{bmatrix} \begin{bmatrix} C \\ D \end{bmatrix} = \begin{bmatrix} \sum y_i \\ \sum t_i y_i \end{bmatrix}$$

---

4.4 正交矩阵与 Gram-Schmidt 正交化

正交矩阵 (Orthogonal Matrix) $Q$ 满足 $Q^T Q = I$。对方阵 $Q$，这意味着 $Q^T = Q^{-1}$。

性质 (Properties):

• $Q$ 的列向量是标准正交的 ($q_i^T q_j = 0$ 当 $i \neq j$，$q_i^T q_i = 1$)
• $\|Qx\| = \|x\|$ (保持长度)
• $(Qx)^T (Qy) = x^T y$ (保持角度)
• 正交矩阵的乘积仍然是正交矩阵
• $\det Q = \pm 1$

标准正交基 (Orthonormal Basis): 对于满足 $q_i^T q_j = \delta_{ij}$ 的一组基 $q_1, \dots, q_n$：

傅里叶系数 (Fourier Coefficients): 每个向量 $v$ 可以表示为：

$$v = (q_1^T v) q_1 + (q_2^T v) q_2 + \cdots + (q_n^T v) q_n$$

系数 $c_k = q_k^T v$ 称为傅里叶系数 (Fourier coefficients)。

Gram-Schmidt 过程 (Gram-Schmidt Process): 将独立向量 $a, b, c$ 转化为标准正交向量 $q_1, q_2, q_3$。

1. $q_1 = a / \|a\|$
2. $B = b - (q_1^T b) q_1$，然后 $q_2 = B / \|B\|$
3. $C = c - (q_1^T c) q_1 - (q_2^T c) q_2$，然后 $q_3 = C / \|C\|$

在每一步中，我们先减去该向量在所有已得标准正交向量上的投影，然后进行归一化。

QR 分解 (QR Factorization): 每个 $m \times n$ 矩阵 $A$（具有独立列）可以分解为：

$$A = Q R$$

• $Q$ 是 $m \times n$ 矩阵，具有标准正交的列
• $R$ 是 $n \times n$ 上三角矩阵

$R$ 的元素是内积 $r_{ij} = q_i^T a_j$（或用上面的记号 $q_i^T b$）。

用 QR 解 $Ax = b$:

$$A^T A x = A^T b \implies R^T Q^T Q R x = R^T Q^T b \implies R^T R x = R^T Q^T b \implies Rx = Q^T b$$

由于 $R$ 是三角矩阵，通过回代可以直接求得 $x$——不需要构造 $A^T A$。