线性代数 ZoomNotes

第 1 部分：线性代数的基本思想

1.1 向量的线性组合 (Linear Combinations of Vectors)

向量 (vector) 在 $\mathbb{R}^n$ 中是一个由 $n$ 个实数组成的有序列表，写作列向量形式：

$$v = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}$$

一组向量 $\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_k$ 的 线性组合 (linear combination) 是通过将每个向量乘以一个标量并将结果相加而形成的：

$$c_1 \mathbf{v}_1 + c_2 \mathbf{v}_2 + \cdots + c_k \mathbf{v}_k$$

关键洞察： 向量的每个线性组合都保持在同一个空间 $\mathbb{R}^n$ 内。一组向量的所有可能线性组合构成的集合称为它们的 张成空间 (span)。

$\mathbb{R}^2$ 中的示例： 向量 $\mathbf{v}_1 = [1,0]^T$ 和 $\mathbf{v}_2 = [0,1]^T$ 张成整个 $\mathbb{R}^2$，因为任何向量 $[x,y]^T$ 都可以写成 $x\mathbf{v}_1 + y\mathbf{v}_2$。

---

1.2 点积 $v \cdot w$、长度 $\|v\|$ 与角度 $\theta$ (Dot Products $v \cdot w$ and Lengths $\|v\|$ and Angles $\theta$)

$\mathbb{R}^n$ 中两个向量的 点积 (dot product)（也称为内积 (inner product) 或标量积 (scalar product)）为：

$$\mathbf{v} \cdot \mathbf{w} = \sum_{i=1}^n v_i w_i = v^T w$$

向量的 长度 (length)（范数 (norm)）：

$$\|\mathbf{v}\| = \sqrt{\mathbf{v} \cdot \mathbf{v}} = \sqrt{v_1^2 + v_2^2 + \cdots + v_n^2}$$

这是从原点到点 $(v_1, \dots, v_n)$ 的欧几里得距离 (Euclidean distance)，由 $n$ 维中的 勾股定理 (Pythagoras) 给出。

两个向量之间的夹角 (angle)：

$$\cos \theta = \frac{\mathbf{v} \cdot \mathbf{w}}{\|\mathbf{v}\| \, \|\mathbf{w}\|}$$

施瓦茨不等式 (Schwarz Inequality)（柯西-施瓦茨 (Cauchy-Schwarz)）：

$$|\mathbf{v} \cdot \mathbf{w}| \leq \|\mathbf{v}\| \, \|\mathbf{w}\|$$

当 $\mathbf{v}$ 和 $\mathbf{w}$ 平行（其中一个为另一个的标量倍数）时取等号。

垂直（正交）向量 (Perpendicular (Orthogonal) Vectors)： $\mathbf{v} \perp \mathbf{w}$ 当且仅当 $\mathbf{v} \cdot \mathbf{w} = 0$。对于垂直向量，勾股定理给出：

$$\|\mathbf{v} + \mathbf{w}\|^2 = \|\mathbf{v}\|^2 + \|\mathbf{w}\|^2$$

单位向量 (unit vectors) 的长度为 $1$。要将任意非零向量归一化，除以其长度：$\hat{\mathbf{v}} = \mathbf{v} / \|\mathbf{v}\|$。

---

1.3 矩阵乘以向量 (Matrices Multiplying Vectors)

一个 $m \times n$ 大小的矩阵 $A$ 乘以一个向量 $x \in \mathbb{R}^n$ 得到 $Ax \in \mathbb{R}^m$。

理解 $Ax = b$ 的两种方式：

行方式（点积）： $A$ 的每一行与 $x$ 做点积，得到 $b$ 的一个分量：

$$b_i = \sum_{j=1}^n A_{ij} x_j \quad \text{(第 $i$ 行与 $x$ 的点积)}$$

列方式（线性组合）： $Ax$ 是 $A$ 的列向量以 $x$ 为系数的线性组合：

$$Ax = x_1 \text{col}_1(A) + x_2 \text{col}_2(A) + \cdots + x_n \text{col}_n(A)$$

单位矩阵 (The Identity Matrix)： $Ix = x$ 对所有 $x$ 成立。$I$ 在对角线上为 1，其余位置为 0。

示例：

$$\begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = x_1 \begin{bmatrix} 1 \\ 3 \end{bmatrix} + x_2 \begin{bmatrix} 2 \\ 4 \end{bmatrix}$$

列方式是根本性的：它告诉我们 $Ax$ 始终位于 $A$ 的列空间 (column space) 中。

---

1.4 $A$ 的列空间和行空间 (Column Space and Row Space of $A$)

列空间 (Column Space) $C(A)$：$A$ 的所有列的线性组合构成的集合。等价地，$C(A) = \{Ax : x \in \mathbb{R}^n\}$。

• $C(A)$ 是 $\mathbb{R}^m$ 的一个 子空间 (subspace)（每一列有 $m$ 个分量）。
• 列空间包含所有使得 $Ax = b$ 有解的可能输出 $b$。
• 秩 (rank) $r$ 是 $C(A)$ 的维数，即独立列的数量。

行空间 (Row Space) $C(A^T)$：$A$ 的所有行的线性组合构成的集合。等价地，即 $A^T$ 的列空间。

• 行空间是 $\mathbb{R}^n$ 的一个子空间（每一行有 $n$ 个分量）。
• 行空间的维数也等于 $r$（秩）。

关键事实： 列空间和行空间具有 相同的维数 $r$，即使它们位于不同的背景空间中（$\mathbb{R}^m$ 与 $\mathbb{R}^n$）。

---

1.5 相关列与独立列 (Dependent and Independent Columns)

一组向量 $\mathbf{v}_1, \dots, \mathbf{v}_n$ 是 线性相关 (linearly dependent) 的，如果其中一个向量可以写成其他向量的组合。等价地，存在不全为零的标量 $c_1, \dots, c_n$，使得：

$$c_1 \mathbf{v}_1 + c_2 \mathbf{v}_2 + \cdots + c_n \mathbf{v}_n = 0$$

一组向量是 线性无关 (linearly independent) 的，如果上述方程的唯一解是 $c_1 = c_2 = \cdots = c_n = 0$。

对于矩阵 $A$ 的列：

• 相关列： $Ax = 0$ 对某个非零 $x$ 成立。至少存在一个自由变量 (free variable)。
• 无关列： $Ax = 0$ 仅在 $x = 0$ 时成立。每个变量都是主元变量 (pivot variable)。

对于方阵： 如果列是无关的，那么行也是无关的（反之亦然）。该矩阵是可逆的 (invertible)。

秩 (Rank) $r$ = 无关列的数量 = 无关行的数量 = $C(A)$ 的维数 = $C(A^T)$ 的维数。

---

1.6 矩阵-矩阵乘法 $AB$ (Matrix-Matrix Multiplication $AB$)

有 四种等价方式 计算矩阵 $A$（大小 $m \times n$）和 $B$（大小 $n \times p$）的乘积 $C = AB$（大小 $m \times p$）：

1. $A$ 的行与 $B$ 的列的点积：

$$C_{ij} = (\text{第 } i \text{ 行 of } A) \cdot (\text{第 } j \text{ 列 of } B) = \sum_{k=1}^n A_{ik} B_{kj}$$

2. $A$ 乘以 $B$ 的列： $C$ 的每一列是 $A$ 乘以 $B$ 的对应列：

$$C = A \begin{bmatrix} \mathbf{b}_1 & \mathbf{b}_2 & \cdots & \mathbf{b}_p \end{bmatrix} = \begin{bmatrix} A\mathbf{b}_1 & A\mathbf{b}_2 & \cdots & A\mathbf{b}_p \end{bmatrix}$$

3. $A$ 的行乘以 $B$： $C$ 的每一行是 $A$ 的对应行乘以 $B$。

4. 列乘行（外积 (outer product)）：

$$AB = \sum_{k=1}^n (\text{第 } k \text{ 列 of } A)(\text{第 } k \text{ 行 of } B)$$

每一项都是一个 $m \times p$ 的 秩一矩阵 (rank-one matrix)。

结合律 (Associative Law)： $(AB)C = A(BC)$，这是高效计算的基础（通过加括号最小化运算量）。

分块乘法 (Block Multiplication)： 如果矩阵被划分为块，乘法在块级别遵循相同的行列模式：

$$\begin{bmatrix} A_{11} & A_{12} \\ A_{21} & A_{22} \end{bmatrix} \begin{bmatrix} B_{11} & B_{12} \\ B_{21} & B_{22} \end{bmatrix} = \begin{bmatrix} A_{11}B_{11}+A_{12}B_{21} & A_{11}B_{12}+A_{12}B_{22} \\ A_{21}B_{11}+A_{22}B_{21} & A_{21}B_{12}+A_{22}B_{22} \end{bmatrix}$$

---

1.7 将 $A$ 分解为 $CR$：列秩 $r$ = 行秩 (Factoring $A$ into $CR$: Column rank $r$ = Row rank)

$CR$ 分解 ($CR$ Factorization)： 每个秩为 $r$ 的 $m \times n$ 矩阵 $A$ 可以分解为：

$$A = C R$$

• $C$ 是 $m \times r$：$A$ 的 $r$ 个 独立列 (independent columns)
• $R$ 是 $r \times n$：组合系数 (combination coefficients)，将 $A$ 的每一列表示为 $C$ 中独立列的线性组合

第一个伟大定理：列秩 = 行秩 (The First Great Theorem: Column Rank = Row Rank)

$CR$ 分解使这一点变得显然：$C$ 有 $r$ 列（列秩为 $r$），$R$ 有 $r$ 行（行秩为 $r$），且因为 $A = CR$，两个秩必然都等于 $r$。

构造方法：

1. 选取 $A$ 的前 $r$ 个独立列构成 $C$。
2. 求解 $A = CR$：$A$ 的每一列被表示为 $C$ 的列的相同线性组合。这些系数放入 $R$。

示例： 如果 $A = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \end{bmatrix}$，则秩为 1。$C = \begin{bmatrix} 1 \\ 2 \end{bmatrix}$，$R = \begin{bmatrix} 1 & 2 & 3 \end{bmatrix}$。

---

1.8 秩一矩阵 $A =$ (1 列) $\times$ (1 行) (Rank One Matrices)

秩一矩阵 (rank one matrix) 具有以下形式：

$$A = \mathbf{u} \mathbf{v}^T = \begin{bmatrix} u_1 \\ u_2 \\ \vdots \\ u_m \end{bmatrix} \begin{bmatrix} v_1 & v_2 & \cdots & v_n \end{bmatrix}$$

每一行都是 $\mathbf{v}^T$ 的倍数，每一列都是 $\mathbf{u}$ 的倍数。该矩阵仅有一个独立行和一个独立列。

积木块性质 (Building block property)： 每个秩为 $r$ 的矩阵都可以写成 $r$ 个秩一矩阵的和：

$$A = \sum_{i=1}^r \mathbf{u}_i \mathbf{v}_i^T$$

这是矩阵乘法的外积视角。

线性代数的五大分解 (The Five Great Factorizations of Linear Algebra)：

分解式 (Factorization)	描述 (Description)
$A = CR$	独立列 $\times$ 行系数
$A = LU$	下三角 $\times$ 上三角（消元法）
$A = QR$	正交矩阵 $\times$ 上三角（格拉姆-施密特）
$S = Q\Lambda Q^T$	对称矩阵 $S$ 由正交特征向量对角化
$A = U\Sigma V^T$	奇异值分解（任意矩阵）

这五个分解是计算线性代数的骨干。