线性代数 ZoomNotes

第 6 部分：特征值与特征向量

6.1 特征值 (eigenvalue) $\lambda$ 和特征向量 (eigenvector) $x$：$Ax = \lambda x$

方阵 $A$ 的一个特征向量 (eigenvector) $x$ 是一个非零向量，当它与 $A$ 相乘时，只发生缩放而不发生旋转：

$$Ax = \lambda x$$

标量 $\lambda$ 就是对应的特征值 (eigenvalue)。

求特征值： 解特征方程 (characteristic equation)：

$$\det(A - \lambda I) = 0$$

这是一个关于 $\lambda$ 的 $n$ 次多项式。

求特征向量： 对每个特征值 $\lambda_i$，求解：

$$(A - \lambda_i I) x = 0$$

特征向量张成 $\lambda_i$ 对应的特征空间 (eigenspace)。

关键性质：

• 迹 (Trace)： $\text{trace}(A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n \lambda_i$
• 行列式 (Determinant)： $\det A = \prod_{i=1}^n \lambda_i$
• 逆矩阵 (Inverse)： $A^{-1} x = (1/\lambda) x$ （当 $\lambda \neq 0$ 时）
• 幂 (Powers)： $A^n x = \lambda^n x$
• 平移 (Shift)： $A - cI$ 的特征值为 $\lambda_i - c$

特殊情形：

• 三角矩阵 (triangular matrices)：特征值就是对角线上的元素
• 奇异矩阵 (singular matrix)：$\lambda = 0$ 是一个特征值（因为 $\det A = 0$）
• 单位矩阵 (identity matrix)：$\lambda = 1$（重数为 $n$）

---

6.2 矩阵对角化 (Diagonalizing a Matrix)：$X^{-1} A X = \Lambda$

如果 $A$ 有 $n$ 个线性无关的特征向量 (independent eigenvectors)（构成矩阵 $X$），则有：

$$A = X \Lambda X^{-1}$$

其中 $\Lambda = \text{diag}(\lambda_1, \dots, \lambda_n)$。

验证： $AX = A[x_1 \; \cdots \; x_n] = [\lambda_1 x_1 \; \cdots \; \lambda_n x_n] = X\Lambda$。

对角化后求幂极为简便：

$$A^k = X \Lambda^k X^{-1}$$

每个特征值被独立地提升到 $k$ 次幂。

相似矩阵 (Similar Matrices)： $B = M^{-1} A M$ 与 $A$ 具有相同的特征值。特征向量被变换为：如果 $Ax = \lambda x$，则 $B(M^{-1}x) = \lambda (M^{-1}x)$。

何时矩阵不可对角化？ 当矩阵有重特征值 (repeated eigenvalues) 但没有足够的线性无关特征向量时。例如，一个 $2 \times 2$ 的 Jordan 块 (Jordan block) $\begin{bmatrix} \lambda & 1 \\ 0 & \lambda \end{bmatrix}$ 只有一个特征向量。

---

6.3 对称正定矩阵 (Symmetric Positive Definite Matrices)：五项判别法

对称矩阵 (Symmetric Matrices) $S = S^T$：

• 所有特征值均为实数 (real)
• 不同特征值对应的特征向量相互正交 (orthogonal)
• 谱定理 (Spectral Theorem)： $S = Q \Lambda Q^T$，其中 $Q$ 是正交矩阵

正定矩阵 (Positive Definite Matrices)： 对称矩阵 $S$ 是正定 (positive definite) 的，当且仅当以下任一等价条件成立：

1. 所有特征值 $\lambda_i > 0$
2. 能量 (Energy) $x^T S x > 0$ 对所有非零 $x$ 成立
3. 所有主元 (pivots) 为正（来自 $LDL^T$ 分解）
4. 所有顺序主子式 (leading principal minors)（左上角子矩阵的行列式）为正
5. $S = A^T A$，其中 $A$ 具有线性无关的列

半正定 (Positive Semidefinite)： 上述条件中用 $\geq 0$（允许等号成立）。

例子： 二阶差分矩阵 (second difference matrix) $K$（对角线上为 2，副对角线上为 -1 的三对角矩阵）是正定的。对于 $n=3$：

$$K = \begin{bmatrix} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2 \end{bmatrix}$$

其特征值为 $\lambda_k = 2 - 2\cos(k\pi/(n+1)) = 4\sin^2(k\pi/(2(n+1)))$，全部为正。

---

6.4 线性微分方程组 (Linear Differential Equations) $du/dt = Au$

考虑一个线性常微分方程组 (system of linear ODEs)：

$$\frac{du}{dt} = A u, \quad u(0) = u_0$$

通过特征向量求解： 假设 $A$ 可对角化，特征向量为 $x_1, \dots, x_n$，将 $u_0$ 表示为：

$$u_0 = c_1 x_1 + c_2 x_2 + \cdots + c_n x_n$$

则有：

$$u(t) = c_1 e^{\lambda_1 t} x_1 + c_2 e^{\lambda_2 t} x_2 + \cdots + c_n e^{\lambda_n t} x_n$$

矩阵指数 (Matrix Exponential)：

$$e^{At} = I + At + \frac{(At)^2}{2!} + \frac{(At)^3}{3!} + \cdots$$

当 $A = X\Lambda X^{-1}$ 时：

$$e^{At} = X e^{\Lambda t} X^{-1} = X \begin{bmatrix} e^{\lambda_1 t} & & \\ & \ddots & \\ & & e^{\lambda_n t} \end{bmatrix} X^{-1}$$

稳定性 (Stability)：

• 渐近稳定 (Asymptotically stable)： 若所有 $\text{Re}(\lambda_i) < 0$，则 $u(t) \to 0$（当 $t \to \infty$）
• 弱稳定 (Weakly stable)： 若 $\text{Re}(\lambda_i) \leq 0$ 且任何为零的 $\lambda_i$ 为半单 (semisimple)，则 $u(t)$ 保持有界
• 不稳定 (Unstable)： 若存在任何 $\text{Re}(\lambda_i) > 0$

---

6.5 工程中的矩阵：二阶差分

二阶差分矩阵 $K$（离散化 $-d^2u/dx^2$）：

$$K = \begin{bmatrix} 2 & -1 & & \\ -1 & 2 & -1 & \\ & \ddots & \ddots & \ddots \\ & & -1 & 2 \end{bmatrix}$$

能量： $x^T K x = \sum_{i=1}^{n-1} (x_i - x_{i+1})^2 > 0$ 对非零 $x$ 成立，证明 $K$ 是正定的。

弹簧-质量系统 (Spring-Mass Systems)：

• 稳态 (Steady state)： $Ku = g$（重力引起的弹簧位移）
• 振动 (Oscillation)： $-K u = m \, d^2u/dt^2$（自由振动）

$K$ 的特征值决定了振动的固有频率 (natural frequencies)：$\omega_k = \sqrt{\lambda_k}$。

$K$ 的正交特征向量： 这个三对角矩阵的特征向量是离散正弦函数 (discrete sines)：

$$(v_k)_j = \sin\left(\frac{jk\pi}{n+1}\right)$$

这些正是使二阶差分算子对角化的特征向量——即 Fourier 正弦级数 (Fourier sine series) 的离散版本。