线性代数 ZoomNotes

第 3 部分：向量空间、子空间、基与维数

3.1 向量空间与四个基本子空间（Vector Spaces and Four Fundamental Subspaces）

向量空间（vector space）是一组在加法和标量乘法下封闭的向量集合（即所有线性组合仍在该集合内）。

$\mathbb{R}^n$ 的子空间（subspaces）：

• 任何过原点的平面
• 任何过原点的直线
• 仅含零向量 $\{0\}$
• 整个空间 $\mathbb{R}^n$ 本身

$m \times n$ 矩阵 $A$ 的四个基本子空间（Four Fundamental Subspaces）：

1. 列空间（Column Space）$C(A) \subseteq \mathbb{R}^m$：$A$ 的列的所有线性组合
2. 行空间（Row Space）$C(A^T) \subseteq \mathbb{R}^n$：$A$ 的行的所有线性组合
3. 零空间（Nullspace）$N(A) \subseteq \mathbb{R}^n$：$Ax = 0$ 的所有解
4. 左零空间（Left Nullspace）$N(A^T) \subseteq \mathbb{R}^m$：$A^T y = 0$ 的所有解

---

3.2 向量空间 $S$ 的基与维数（Basis and Dimension）

向量空间 $S$ 的基（basis）是一组满足以下条件的向量：

• 张成（spans）$S$（$S$ 中的每个向量都是基向量的线性组合）
• 线性无关（linearly independent）（没有基向量能表示成其他基向量的线性组合）

关键性质： $S$ 中的每个向量都可以唯一地表示为基向量的线性组合。

维数（dimension）= $S$ 的任意一组基中的向量个数。同一空间的所有基都具有相同数量的向量。

维数的例子：

• $\mathbb{R}^n$ 的维数为 $n$（标准基：$e_1, \dots, e_n$）
• $\mathbb{R}^3$ 中过原点的平面的维数为 2
• $\mathbb{R}^3$ 中过原点的直线的维数为 1
• 零向量空间的维数为 0

---

3.3 列空间与行空间：通过消元求基（Bases by Elimination）

简化行阶梯形（Reduced Row Echelon Form，rref）：消元后，矩阵可进一步化简为：

$$R_0 = \begin{bmatrix} I_r & F \\ 0 & 0 \end{bmatrix}$$

（行可能经过置换）。$I_r$ 为 $r \times r$ 单位矩阵，$F$ 为 $r \times (n-r)$ 矩阵，且有 $m-r$ 个零行。

列空间的基： 原矩阵 $A$（而非 rref）的 $r$ 个主元列构成 $C(A)$ 的一组基。

行空间的基： $R_0$（即 rref）的 $r$ 个非零行构成行空间 $C(A^T)$ 的一组基。

这些基至关重要，因为它们给出了维数：$\dim C(A) = \dim C(A^T) = r$。

---

3.4 $Ax = 0$ 与 $Ax = b$：$x_{\text{nullspace}}$ 和 $x_{\text{particular}}$

求解 $Ax = 0$（零空间）：

1. 将 $A$ 化简为 rref $R_0 = [I_r \; F]$
2. 特殊解（special solutions）构成 $N(A)$ 的一组基：

$$\text{Nullspace basis vectors} = \begin{bmatrix} -F \\ I_{n-r} \end{bmatrix}$$

共有 $n-r$ 个特殊解，每个自由变量对应一个。

求解 $Ax = b$（完整解）：

1. 检查相容性（consistency）：消元必须得到 $0 = 0$，方程组才有解。这意味着 $b$ 必须在 $C(A)$ 中。
2. 找一个特解（particular solution）$x_p$（令自由变量为 0，解出主变量）。
3. 完整解（complete solution）为：

$$x = x_p + x_n$$

其中 $x_n$ 是 $N(A)$ 中的任意向量。完整解等于一个特解加上整个零空间。

---

3.5 四个基本子空间：$C(A), C(A^T), N(A), N(A^T)$

线性代数基本定理（第一部分）（Fundamental Theorem of Linear Algebra, Part 1）：

$$\begin{aligned} \dim C(A) &= r \\ \dim C(A^T) &= r \\ \dim N(A) &= n - r \\ \dim N(A^T) &= m - r \end{aligned}$$

计数定理（Counting Theorem）：对 $m \times n$ 矩阵：

• $Ax = 0$ 至少有 $n-m$ 个解（当 $n > m$ 时）
• 若 $n > m$（高矩阵），零空间中总存在非零向量

例子： 秩为 2 的 $3 \times 5$ 矩阵：

• $\dim C(A) = 2$
• $\dim N(A) = 5 - 2 = 3$
• $\dim C(A^T) = 2$
• $\dim N(A^T) = 3 - 2 = 1$

---

3.6 图、关联矩阵与基尔霍夫定律（Graphs, Incidence Matrices, and Kirchhoff's Laws）

图（graph）由节点（nodes/vertices）和连接它们的边（edges）组成。关联矩阵（incidence matrix）$A$ 满足：

• 行 = 边
• 列 = 节点
• 元素 $A_{ij} = \begin{cases} -1 & \text{若边 } i \text{ 离开节点 } j \\ +1 & \text{若边 } i \text{ 进入节点 } j \\ 0 & \text{否则} \end{cases}$

例子： 具有 3 个节点和 3 条边的三角形图：

$$A = \begin{bmatrix} -1 & 1 & 0 \\ 0 & -1 & 1 \\ -1 & 0 & 1 \end{bmatrix}$$

基尔霍夫定律（Kirchhoff's Laws）：

• 电流定律（Current Law）：$A^T y = 0$（流入每个节点的电流之和为零）
• 电压定律（Voltage Law）：$Ax = 0$ 沿回路成立（闭合回路上的电压降之和为零）

树与回路（Trees and Loops）：

• 树（tree）是无回路（环）的图。对于具有 $n$ 个节点的树，有 $n-1$ 条边，且关联矩阵具有满列秩 $n-1$。
• 添加边会产生回路：每条新增的边恰好添加一个独立回路。
• 生成树（spanning tree）使用 $r$ 个独立行，其中对连通图有 $r = n-1$。

---

3.7 每个矩阵 $A$ 都有一个伪逆 $A^+$

伪逆（pseudoinverse，Moore-Penrose 逆）$A^+$ 对每个矩阵 $A$ 都存在，即使 $A$ 不是方阵或不具有满秩。

关键性质：

• $A^+ A$ = 到 $A$ 的行空间上的投影
• $A A^+$ = 到 $A$ 的列空间上的投影
• $A^+$ 满足四条 Moore-Penrose 条件：
  1. $A A^+ A = A$
  2. $A^+ A A^+ = A^+$
  3. $(A A^+)^T = A A^+$
  4. $(A^+ A)^T = A^+ A$

通过 CR 分解计算： 若 $A = CR$，则：

$$A^+ = R^+ C^+$$

通过 SVD 计算： 若 $A = U \Sigma V^T$，则：

$$A^+ = V \Sigma^+ U^T$$

其中 $\Sigma^+$ 是将非零奇异值取倒数得到的对角矩阵。这是数值上最可靠的方法。

当 $A$ 可逆时： $A^+ = A^{-1}$。伪逆将逆矩阵的概念推广到了所有矩阵。