线性代数 ZoomNotes

第 2 部分：求解线性方程组 Ax = b

2.1 逆矩阵 (Inverse Matrix) $A^{-1}$ 与解 $x = A^{-1}b$

如果 $A$ 是一个可逆方阵 (square invertible matrix)，则存在 $A^{-1}$ 使得：

$$A^{-1}A = I \quad \text{and} \quad AA^{-1} = I$$

则 $Ax = b$ 的解为：

$$x = A^{-1}b$$

2x2 逆矩阵公式 (2x2 Inverse Formula)：

$$\begin{bmatrix} a & b \\ c & d \end{bmatrix}^{-1} = \frac{1}{ad-bc} \begin{bmatrix} d & -b \\ -c & a \end{bmatrix}$$

这里 $ad-bc$ 称为行列式 (determinant)。如果行列式为零，则该矩阵是奇异的 (singular)，即不可逆。

可逆性的条件 (Conditions for Invertibility)（以下全部等价）：

• 行和列均线性无关 (Independent rows and independent columns)
• 行列式非零 (Nonzero determinant)
• 消元过程中无零主元 (No zero pivots during elimination)
• $Ax = 0$ 蕴含 $x = 0$
• 满秩 (Full rank, $r = n$)

乘积的逆 (Inverse of a Product)：

$$(AB)^{-1} = B^{-1} A^{-1}$$

注意逆序 (reverse order)：乘积的逆等于各因子之逆按相反顺序相乘。

---

2.2 三角矩阵与回代求解 $Ux = c$

一个上三角 (upper triangular) 矩阵 $U$ 的对角线以下全为零：

$$U = \begin{bmatrix} u_{11} & u_{12} & \cdots & u_{1n} \\ 0 & u_{22} & \cdots & u_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & u_{nn} \end{bmatrix}$$

回代 (Back Substitution) 从最后一个方程开始求解 $Ux = c$：

$$x_n = \frac{c_n}{u_{nn}}, \quad x_{n-1} = \frac{c_{n-1} - u_{n-1,n}x_n}{u_{n-1,n-1}}, \quad \dots$$

一般地，对 $i = n, n-1, \dots, 1$：

$$x_i = \frac{c_i - \sum_{j=i+1}^n u_{ij} x_j}{u_{ii}}$$

主元 (pivots) $u_{11}, u_{22}, \dots, u_{nn}$ 必须全部非零。零主元意味着方程组是奇异的（没有唯一解）。

---

2.3 消元：将方阵 $A$ 化为三角阵 $U$

高斯消元法 (Gaussian elimination) 通过从下方各行中减去该行的倍数，将 $A$ 变换为上三角矩阵 $U$。

增广矩阵 (augmented matrix) $[A \mid b]$ 被同时化为 $[U \mid c]$。

以 3x3 为例逐步说明：

1. 用第 1 行（主元行 (pivot row)）消去第 2 行和第 3 行的第一个元素。
2. 用第 2 行消去第 3 行的第二个元素。
3. 结果得到 $U$，一个上三角矩阵。

乘数 (multiplier) $\ell_{ij}$ 的定义为：

$$\ell_{ij} = \frac{\text{entry to eliminate}}{\text{pivot}}$$

第 $i$ 行 $\leftarrow$ 第 $i$ 行 $- \ell_{ij} \times$ 第 $j$ 行

主元必须非零。 如果某个主元为零，我们尝试进行行交换 (row exchange)。如果所有可选行在该主元位置均为零，则该矩阵是奇异的。

---

2.4 为非零主元而进行的行交换：置换矩阵 $P$

置换矩阵 (permutation matrix) $P$ 由单位矩阵 $I$ 的各行以任意顺序排列而成。大小为 $n \times n$ 的置换矩阵共有 $n!$ 个。

性质：

• $P^{-1} = P^T$（置换矩阵是正交的 (orthogonal)）
• 以 $PA$ 相乘会重新排列 $A$ 的各行
• $P$ 乘以列向量会重新排列其分量

示例： 交换第 1 行与第 3 行的置换矩阵：

$$P = \begin{bmatrix} 0 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 0 \end{bmatrix}$$

当在消元过程中遇到零主元时，我们将当前行与其下方在主元列上具有非零元素的行进行交换。这意味着 $PA = LU$，其中 $P$ 编码了所有执行过的行交换。

---

2.5 无需行交换的消元：为什么 $A = LU$？

当不需要行交换时，消元将 $A$ 分解为：

$$A = L U$$

• $L$ 是下三角 (lower triangular) 矩阵，其对角线元素均为 1
• $U$ 是上三角 (upper triangular) 矩阵（即消元的结果）

$L$ 和 $U$ 从何而来？

每一步消元相当于从第 $i$ 行减去 $\ell_{ij} \times$（主元行 $j$）。这等价于在 $A$ 的左侧乘以一个初等消元矩阵 (elementary elimination matrix) $E_{ij}$。所有 $E_{ij}$ 的乘积作用于 $A$ 得到 $U$：

$$E_{n,n-1} \cdots E_{31} E_{21} A = U$$

于是 $A = (E_{21}^{-1} E_{31}^{-1} \cdots E_{n,n-1}^{-1}) U = L U$。

$L$ 中对角线以下的元素就是乘数 $\ell_{ij}$ 本身。$L$ 的对角线元素均为 1。

列-行乘法视角 (Column-Row Multiplication View)： $A = LU$ 也可以看作秩一更新 (rank-one updates) 的累积。每一步移除一个秩一矩阵：（$L$ 的第 $j$ 列）$\times$（$U$ 的第 $j$ 行）。

---

2.6 转置 / 对称矩阵 / 点积

转置 (Transpose)： 转置 $A^T$ 的元素满足 $(A^T)_{ij} = A_{ji}$。行变为列，列变为行。

转置运算法则 (Transpose Rules)：

$$(A + B)^T = A^T + B^T, \quad (AB)^T = B^T A^T, \quad (A^{-1})^T = (A^T)^{-1}$$

对称矩阵 (Symmetric Matrices)： $S = S^T$。对任意矩阵 $A$，乘积 $A^T A$ 和 $A A^T$ 总是对称的：

$$(A^T A)^T = A^T (A^T)^T = A^T A$$

点积表示为 $x^T y$ (Dot Product as $x^T y$)： 点积 $x \cdot y = x^T y = \sum x_i y_i$。该记号在线性代数中贯穿于涉及功 ($\text{force}^T \cdot \text{distance}$)、收入 ($\text{prices}^T \cdot \text{quantities}$) 和热量 ($\text{temperatures}^T \cdot \text{entropy}$) 的应用中。

对称矩阵 $S$ 的 $LDL^T$ 分解 (Factorization)： 当 $S$ 对称且消元过程中无需行交换时，我们可以写成：

$$S = L D L^T$$

其中 $D$ 是对角矩阵，包含来自 $U$ 的主元，$L$ 是下三角矩阵，对角线元素均为 1。这是对 $LU$ 分解的改进，利用了对称性，将存储和计算量大约减少了一半。