Linear Algebra
Complete Guide

利用 Sylvester 不等式：$\operatorname{rank}(A) + \operatorname{rank}(A) \le \operatorname{rank}(A^2) + n = 0 + n = n$

故 $\operatorname{rank}(A) \le \lfloor n/2 \rfloor$。

验证可达到：取 $r = \lfloor n/2 \rfloor$，构造

$$A = \begin{pmatrix} 0 & I_r & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{pmatrix}$$

其中 $I_r$ 是 $r\times r$ 单位矩阵，易验证 $A^2 = 0$ 且 $\operatorname{rank}(A) = r = \lfloor n/2 \rfloor$。

设 $\operatorname{rank}(A) = r$，对 $A \cdot A$ 用 Sylvester：$2r \le \operatorname{rank}(A^2) + n$，故 $\operatorname{rank}(A^2) \ge 2r - n$。

对 $A^2 \cdot A$ 用 Sylvester：$\operatorname{rank}(A^2) + r \le \operatorname{rank}(A^3) + n = n$，故 $\operatorname{rank}(A^2) \le n - r$。

联立：$2r - n \le n - r \Rightarrow 3r \le 2n \Rightarrow r \le \lfloor 2n/3 \rfloor$。

最大值为 $\lfloor 2n/3 \rfloor$，可用 Jordan 块构造验证。

核心结论：从 $N(0,1)$ 随机采样的矩阵几乎必然（almost surely）有 $n$ 个不同的实特征值，从而 $A$ 几乎必然可对角化，且特征值两两不同。

定理：若 $A$ 有 $n$ 个不同特征值，则与 $A$ 可交换的矩阵恰好是 $A$ 的多项式，即

$$\{B : AB = BA\} = \operatorname{span}\{I, A, A^2, \ldots, A^{n-1}\}$$

这是因为：设 $A = PDP^{-1}$，$D$ 的对角元两两不同。$AB = BA \Rightarrow D(P^{-1}BP) = (P^{-1}BP)D$，对角矩阵只与对角矩阵可交换（对角元不同时），故 $P^{-1}BP$ 是对角矩阵，$B$ 被 $P$ 的列（特征向量）完全决定，只有 $n$ 个自由度。

维度 = $n$。基：$\{I, A, A^2, \ldots, A^{n-1}\}$（Cayley–Hamilton 保证 $A^n$ 线性相关）。

设 $r = \operatorname{rank}(A) < n/2$：

• $\operatorname{nullity}(A) = n - r > n/2$，零空间维度超过一半。
• $A$ 不可逆（$\det(A) = 0$）。
• $A^2$：由 Sylvester，$\operatorname{rank}(A^2) \ge 2r - n < 0$，故 $\operatorname{rank}(A^2)$ 可以为 0（即 $A^2$ 可以是零矩阵）。
• 至少有 $n - r > n/2$ 个特征值为 0。
• 行（列）空间与零空间"几乎不相交"，但在 $r < n/2$ 时列空间维度严格小于零空间维度。

设 $Av = \lambda v$，则 $A^2 v = A(\lambda v) = \lambda^2 v$。又 $A^2 = A$，故 $\lambda^2 v = \lambda v$，即 $\lambda(\lambda-1) = 0$。

特征值只能是 $0$ 或 $1$。

对 $\lambda = 0$：几何重数 = $\dim \mathcal{N}(A) = n - \operatorname{rank}(A)$。

对 $\lambda = 1$：几何重数 = $\dim \mathcal{N}(A - I) = n - \operatorname{rank}(A - I)$。

利用 Sylvester：$\operatorname{rank}(A) + \operatorname{rank}(A - I) \le \operatorname{rank}(A^2 - A) + n = n$，故两者几何重数之和 $\ge n$，等于 $n$，从而 $A$ 可对角化。

$$A \sim \begin{pmatrix} I_r & 0 \\ 0 & 0 \end{pmatrix}, \quad r = \operatorname{rank}(A)$$

$Av = \lambda v \Rightarrow \lambda^n v = I \cdot v = v \Rightarrow \lambda^n = 1$。

$\lambda^n - 1 = 0$ 在 $\mathbb{C}$ 上有 $n$ 个不同的根（$n$ 次单位根）：$e^{2\pi i k/n},\ k = 0, 1, \ldots, n-1$。

特征多项式整除 $x^n - 1$，而 $x^n - 1$ 在 $\mathbb{C}$ 上无重根，故 $A$ 的最小多项式无重根，$A$ 在 $\mathbb{C}$ 上一定可对角化。

$\lambda=5$ 代数重数 1，几何重数自动为 1，无问题。关键看 $\lambda=2$（代数重数 3）。

几何重数 $= 4 - \operatorname{rank}(A-2I)$。

• 情况 1：几何重数 $= 4-1=3$，等于代数重数 3，✅ 可对角化。
• 情况 2：几何重数 $= 4-2=2 < 3$，❌ 不可对角化，需要 Jordan 块。

情况 2 的 Jordan 形（$\lambda=2$ 部分）：几何重数 2 说明有 2 个 Jordan 块，代数重数 3 说明大小之和为 3，故一个块大小为 2，一个为 1：

$$J = \begin{pmatrix}2&1&0&0\\0&2&0&0\\0&0&2&0\\0&0&0&5\end{pmatrix}$$

绝对不能。 $\lambda=0$ 是特征值意味着 $\exists v \ne 0$ 使得 $Av = 0v = 0$，即零空间非平凡：

$$\mathcal{N}(A) \ne \{0\} \Rightarrow \operatorname{nullity}(A) \ge 1 \Rightarrow \operatorname{rank}(A) < n$$

同时 $\det(A) = \prod_i \lambda_i$，含因子 0，故 $\det(A) = 0$，不可逆。

这是一个充要条件：$A$ 不可逆 $\Leftrightarrow$ $\lambda=0$ 是特征值 $\Leftrightarrow$ $\det(A)=0$。

Step 1：取转置：$(MM^T)^T = M^T \Rightarrow M(M^T)^T = (MM^T)^T = M^T$，即 $MM = M^T$，即 $M^2 = M^T$。

Step 2：再利用 $MM^T = M$，对 $M^2 = M^T$ 取转置：$(M^2)^T = M$，即 $(M^T)^2 = M$。

Step 3：$\operatorname{rank}(M) = \operatorname{rank}(MM^T) \le \operatorname{rank}(M^T) = \operatorname{rank}(M)$，等号成立。

Step 4：$M^3 = M \cdot M^2 = M \cdot M^T = MM^T = M$，所以 $M^3 = M$，即 $M(M^2 - I) = 0$。这意味着 $M$ 的特征值满足 $\lambda^3 = \lambda$，即 $\lambda \in \{0, 1, -1\}$。

结论：$\operatorname{rank}(M) = \operatorname{rank}(M^T)$（显然），特征值 $\in \{0, 1, -1\}$，$M$ 在 $\mathbb{R}$ 上可对角化。

相关矩阵

$$\text{Corr} = \begin{pmatrix} 1 & 0.9 & x \\ 0.9 & 1 & 0.9 \\ x & 0.9 & 1 \end{pmatrix}$$

半正定要求所有主子式 $\ge 0$。行列式展开：

$$\det = 1 - 0.81 - 0.9(0.9 - 0.9x) + x(0.81 - x) = -x^2 + 1.62x - 0.62 \ge 0$$ $$-(x-1)(x-0.62) \ge 0 \Rightarrow x \in [0.62, 1]$$

故 $\rho_{xz} \in [0.62, 1]$。

Step 1：$AB \ne 0$。 由 Sylvester：

$$\operatorname{rank}(AB) \ge \operatorname{rank}(A)+\operatorname{rank}(B)-n = 5-4 = 1$$

反例（$AB$ 不是幂零）：

$$A = \operatorname{diag}(1,1,0,0),\quad B = \operatorname{diag}(1,1,1,0)$$

两者均可对角化，rank 和 $= 2+3=5$，$AB = \operatorname{diag}(1,1,0,0)$，特征值含 1，不是幂零。

构造（$AB$ 是幂零）：取 $A=e_1e_2^T$（rank 1），$B$ 使 $ABe_1 = 0$，则 $(AB)^2=0$。

关键观察：若 $A, B$ 同时可对角化（存在同一个 $P$），则 $AB$ 也可对角化。非零的可对角化矩阵特征值不全为零，故不是幂零矩阵。但题目没说同时可对角化，所以答案是不一定。

$\operatorname{rank}(X^TX) = \operatorname{rank}(X)$（因为 $X^TX$ 和 $X$ 有相同的零空间）。

若 $X$ 的列线性相关，$\operatorname{rank}(X) < n$（$n$ 是特征数），故 $X^TX$ 降秩不可逆。

SVD 视角：$X = U\Sigma V^T$，$X^TX = V\Sigma^2 V^T$，某些奇异值 $\sigma_i = 0$，对应 $X^TX$ 有零特征值。

Ridge 修复：$(X^TX + \lambda I)^{-1}$ 永远可逆，因为 $(X^TX + \lambda I)$ 的特征值为 $\sigma_i^2 + \lambda > 0$。

展开目标函数：

$$f(\beta) = (X\beta - y)^T(X\beta - y) = \beta^TX^TX\beta - 2y^TX\beta + y^Ty$$

对 $\beta$ 求导（利用 $\partial(\beta^T A\beta)/\partial\beta = 2A\beta$ for symmetric $A$）：

$$\frac{\partial f}{\partial \beta} = 2X^TX\beta - 2X^Ty = 0$$ $$\Rightarrow \hat\beta = (X^TX)^{-1}X^Ty$$

$\operatorname{rank}(A) = 1$（除非 $u \perp v$），故特征值 $\lambda = 0$ 代数重数为 $n-1$，还有 $1$ 个非零特征值。

$A^2 = (uv^T)(uv^T) = u(v^Tu)v^T = (v^Tu)A$，所以 $A^2 = \alpha A$，其中 $\alpha = v^Tu$。

非零特征值：取 $x = u$，$Ax = uv^Tu = \alpha u$，故 $\lambda_1 = \alpha = v^Tu$（即 $u$ 是特征向量）。

故特征值：$\lambda_1 = v^Tu$（重数 1），$\lambda_2 = 0$（重数 $n-1$）。

幂次：$A^k = \alpha^{k-1} A = (v^Tu)^{k-1} uv^T$（$k \ge 1$）。

设列秩为 $r$，取列空间的一组基 $c_1, \ldots, c_r$，令 $C = [c_1 \cdots c_r]$（$m \times r$ 矩阵）。

则 $A$ 的每一列都是 $c_i$ 的线性组合：$A = CR$（$R$ 是 $r \times n$ 矩阵）。

则 $A$ 的每一行是 $R$ 的行的线性组合，故行空间 $\subseteq$ Row$(R)$，行秩 $\le r$（列秩）。

同理对 $A^T$ 用以上论证：行秩 $\ge$ 列秩。故行秩 = 列秩。

分块 LU 分解：

$$M = \begin{pmatrix} I & 0 \\ CA^{-1} & I \end{pmatrix} \begin{pmatrix} A & B \\ 0 & S \end{pmatrix}$$

第一个矩阵行列式为 1，第二个为 $\det(A)\det(S)$，故 $\det(M) = \det(A)\det(S)$。

OLS 联系：在贝叶斯线性回归或条件高斯分布中，Schur 补给出条件方差：$\Sigma_{y|x} = \Sigma_{yy} - \Sigma_{yx}\Sigma_{xx}^{-1}\Sigma_{xy}$，即回归残差的方差。

$v_1^T A v_2 = v_1^T (\lambda_2 v_2) = \lambda_2 v_1^T v_2$

又因 $A = A^T$：$v_1^T A v_2 = (Av_1)^T v_2 = (\lambda_1 v_1)^T v_2 = \lambda_1 v_1^T v_2$

故 $(\lambda_1 - \lambda_2) v_1^T v_2 = 0$，因 $\lambda_1 \ne \lambda_2$，所以 $v_1^T v_2 = 0$。$\square$

$\operatorname{tr}(AB) = \sum_i (AB)_{ii} = \sum_i \sum_k A_{ik}B_{ki} = \sum_k \sum_i B_{ki}A_{ik} = \sum_k (BA)_{kk} = \operatorname{tr}(BA)$。

推广：$\operatorname{tr}(ABC) = \operatorname{tr}(BCA) = \operatorname{tr}(CAB)$（循环轮换，但 不是任意置换！）

应用：$\operatorname{tr}(x^TAx) = x^TAx$（标量），$\operatorname{tr}(Q^TAQ) = \operatorname{tr}(A)$（正交相似变换不改变迹）。

PCA = 协方差矩阵的特征分解 = 数据矩阵的 SVD。

设数据矩阵 $X \in \mathbb{R}^{T \times n}$（中心化后），协方差矩阵 $\hat\Sigma = \frac{1}{T-1}X^TX$。

SVD：$X = U\Sigma V^T$，则 $X^TX = V\Sigma^2 V^T$，$V$ 的列即为 PCA 主成分方向（loadings），$\Sigma^2/(T-1)$ 的对角元为各主成分方差。

低秩近似在风险模型中的作用：

• 取前 $k$ 个最大奇异值：$\hat\Sigma_k = \sum_{i=1}^k \lambda_i v_i v_i^T + D$（因子模型结构）
• 减少估计误差（高维时协方差估计噪声大）
• 提升矩阵条件数，加速 Cholesky 分解
• 降低 Monte Carlo 模拟成本：只需模拟 $k$ 个因子

特征多项式：$p(\lambda) = \det(A - \lambda I) = (1-\lambda)(3-\lambda) = \lambda^2 - 4\lambda + 3$

Cayley–Hamilton：$A^2 - 4A + 3I = 0 \Rightarrow A^2 = 4A - 3I$

递推：$A^3 = A \cdot A^2 = A(4A - 3I) = 4A^2 - 3A = 4(4A-3I) - 3A = 13A - 12I$

一般地，$A^n = \alpha_n A + \beta_n I$，利用特征值 $\lambda_1=1, \lambda_2=3$：

$$\alpha_n = \frac{3^n - 1^n}{3-1} = \frac{3^n-1}{2}, \quad \beta_n = \frac{3 \cdot 1^n - 1 \cdot 3^n}{3-1} = \frac{3 - 3^n}{2}$$ $$A^{10} = \frac{3^{10}-1}{2}A + \frac{3-3^{10}}{2}I$$

不可能。$\lambda=0$ 是特征值 $\Rightarrow \exists v\ne0$ 使 $Av=0$，即零空间非平凡，$\operatorname{nullity}(A)>0$，$\operatorname{rank}(A)<n$。

同时 $\det(A)=\prod_i\lambda_i=0$（连乘中含 0 项），故 $A$ 不可逆。

这是绝对充要关系：$\lambda=0$ 是特征值 $\Leftrightarrow$ $A$ 不可逆 $\Leftrightarrow$ $\det(A)=0$ $\Leftrightarrow$ $\operatorname{rank}(A)<n$。

$\lambda=5$ 代数重数 1，几何重数自动为 1。关键看 $\lambda=2$（代数重数 3）。

几何重数 $=\dim\mathcal{N}(A-2I)=4-\operatorname{rank}(A-2I)$

• 情况一：几何重数 $=4-1=3=$ 代数重数 $\Rightarrow$ 可对角化
• 情况二：几何重数 $=4-2=2<3 \Rightarrow$ 不可对角化，需 Jordan 块

第一步：$AB\ne0$

由 Sylvester：$\operatorname{rank}(AB)\ge\operatorname{rank}(A)+\operatorname{rank}(B)-n=5-4=1>0$，故 $AB$ 不是零矩阵。

第二步：$AB$ 不一定是幂零的

反例（不幂零）：$A=\operatorname{diag}(1,1,0,0),\ B=\operatorname{diag}(1,1,1,0)$，$AB=\operatorname{diag}(1,1,0,0)$，含特征值 1，不幂零。

构造（幂零）：$A=e_1e_1^T$（rank 1），$B$ 为置换矩阵且第一列是 $e_2$，则 $AB$ 是秩 1 的严格上三角，$(AB)^2=0$。

关键判断：若两者同时可对角化（存在共同的 $P$），则 $AB$ 也可对角化。非零可对角化矩阵特征值含非零项，不可能是幂零矩阵。故此情况下 $AB$ 一定不是幂零矩阵。

多项式论证：设 $\alpha j+\beta j^2+\gamma j^3=0$ 对所有正整数 $j$ 成立，即多项式 $p(x)=x(\alpha+\beta x+\gamma x^2)=0$ 有无穷多个零点。次数 $\le3$ 的多项式若有无穷多零点则恒为零，故 $\alpha=\beta=\gamma=0$。三向量线性无关。

Vandermonde 验证（$m=3$ 子矩阵）：

$$M = \begin{pmatrix}1&2&3\\1&4&9\\1&8&27\end{pmatrix}$$

分解为 $M = V \cdot D$，其中 $D=\operatorname{diag}(1,2,3)$，$V$ 是 Vandermonde 矩阵（行为 $x^1,x^2,x^3$ 在 $x=1,2,3$）：

$$\det(M)=\det(V)\cdot\det(D)=(2-1)(3-1)(3-2)\cdot6=1\cdot2\cdot1\cdot6=12\ne0$$

结论：Full rank，rank = 3。

大小恰为 $k$ 的块数 $n_k = r_{k-1}-2r_k+r_{k+1}$：

• $n_1 = r_0-2r_1+r_2 = 6-8+2 = 0$ 个 $1\times1$ 块
• $n_2 = r_1-2r_2+r_3 = 4-4+1 = 1$ 个 $2\times2$ 块
• $n_3 = r_2-2r_3+r_4 = 2-2+0 = 0$ 个 $3\times3$ 块
• $n_4 = r_3-2r_4+0 = 1-0+0 = 1$ 个 $4\times4$ 块

验证：$0\cdot1+1\cdot2+0\cdot3+1\cdot4=6$ ✓

$$J = \begin{pmatrix}3&1&&&&&\\&3&&&&& \\ &&3&1&&&\\&&&3&1&&\\&&&&3&1&\\&&&&&3\end{pmatrix} \quad (J_2(3) \oplus J_4(3))$$

分解 $J_k(\lambda) = \lambda I + N$，其中 $N$ 是严格上三角幂零矩阵（$N^k=0$）。

因 $\lambda I$ 和 $N$ 可交换，二项式定理：

$$J_k(\lambda)^m = (\lambda I+N)^m = \sum_{j=0}^{k-1}\binom{m}{j}\lambda^{m-j}N^j$$ $$= \begin{pmatrix}\lambda^m & \binom{m}{1}\lambda^{m-1} & \binom{m}{2}\lambda^{m-2} & \cdots \\ & \lambda^m & \binom{m}{1}\lambda^{m-1} & \cdots \\ & & \ddots & \vdots \\ & & & \lambda^m\end{pmatrix}$$

关键推论：

• 若 $|\lambda|<1$：$J_k(\lambda)^m\to0$（$m\to\infty$），系统稳定
• 若 $\lambda=0$（幂零块）：$J_k(0)^k=0$，验证幂零性
• 若 $|\lambda|=1,\lambda\ne1$：振荡不收敛

（1）是的。协方差矩阵 = 对称半正定；可逆时为对称正定 (SPD)。

设 $\Sigma=Q\Lambda Q^T$（特征值 $\lambda_i>0$），则 $\Sigma^{-1}=Q\Lambda^{-1}Q^T$，特征值 $1/\lambda_i>0$。

• 对称性：$(\Sigma^{-1})^T=(\Sigma^T)^{-1}=\Sigma^{-1}$ ✓
• 正定性：特征值 $1/\lambda_i>0$ ✓

$\Sigma^{-1}$ 在统计上称精度矩阵（Precision Matrix），高斯图模型中的条件独立结构由它决定。

（2）不一定。反例：

$$A = \begin{pmatrix}1&0.9&0.9\\0.9&1&-0.9\\0.9&-0.9&1\end{pmatrix}$$

所有 $2\times2$ 主子式行列式 $=1-0.81=0.19>0$，均为合法协方差矩阵 ✓。但

$$\det(A) = 1\cdot(1-0.81) - 0.9\cdot(0.9+0.81) + 0.9\cdot(-0.81-0.9) < 0$$

$A$ 不是半正定，不是协方差矩阵。低维主子式 PSD 无法控制高维方向的曲率。

是的。 验证 $\Sigma^{-1}$ 也是 SPD：

对称性： $(\Sigma^{-1})^T = (\Sigma^T)^{-1} = \Sigma^{-1}$ ✓

正定性： $\Sigma = Q\Lambda Q^T$（特征值 $\lambda_i > 0$），则

$$\Sigma^{-1} = Q\Lambda^{-1}Q^T,\quad \Lambda^{-1} = \operatorname{diag}(1/\lambda_1,\ldots,1/\lambda_n)$$

$1/\lambda_i > 0$，故 $\Sigma^{-1}$ 也是正定的。 ✓

$\Sigma^{-1}$ 在统计中称为精度矩阵（Precision Matrix），在高斯图模型中，其非零元素对应条件独立结构。

不一定。 反例：

$$A = \begin{pmatrix}1&0.9&0.9\\0.9&1&-0.9\\0.9&-0.9&1\end{pmatrix}$$

所有 $1\times1$ 主子式 $= 1 > 0$ ✓，所有 $2\times2$ 主子式 $\det = 1-0.81 = 0.19 > 0$ ✓，每个子矩阵都是合法协方差矩阵。

但 $\det(A) = 1(0.19) - 0.9(0.9+0.81) + 0.9(-0.81-0.9) < 0$，$A$ 不是半正定，不是协方差矩阵。

本质原因：PSD 要求所有主子式行列式 $\ge 0$，但低维子矩阵 PSD 不能控制高维方向的曲率——三个变量两两正相关时，第三对相关系数必须受到约束（如上一节三变量相关系数例题）。

是的，线性无关，full rank。

证明（多项式论证）：设 $\alpha \cdot j + \beta \cdot j^2 + \gamma \cdot j^3 = 0$ 对所有 $j = 1,2,3,\ldots$ 成立。

即多项式 $p(x) = \alpha x + \beta x^2 + \gamma x^3 = x(\alpha + \beta x + \gamma x^2)$ 在无穷多个点 $x = 1,2,3,\ldots$ 取零值。

次数 $\le 3$ 的多项式若有无穷多零点，则恒为零，故 $\alpha = \beta = \gamma = 0$，线性无关。

验证（Vandermonde 行列式）：取 $j=1,2,3$ 构成 $3\times3$ 子矩阵：

$$M = \begin{pmatrix}1&2&3\\1&4&9\\1&8&27\end{pmatrix}$$

分解：$M = \begin{pmatrix}1^1&2^1&3^1\\1^2&2^2&3^2\\1^3&2^3&3^3\end{pmatrix}$，这是 Vandermonde 矩阵的转置乘以 $\operatorname{diag}(1,2,3)$。

$$\det(M) = (2-1)(3-1)(3-2) \cdot 1\cdot2\cdot3 = 1\cdot2\cdot1\cdot6 = 12 \ne 0 \checkmark$$

假设 $c_1x_1+\cdots+c_nx_n = 0$，且 $c_i$ 不全为零。两边左乘 $A$：

$$c_1\lambda_1 x_1 + \cdots + c_n\lambda_n x_n = 0 \quad \cdots (2)$$

$(2) - \lambda_n \times (1)$：$c_1(\lambda_1-\lambda_n)x_1 + \cdots + c_{n-1}(\lambda_{n-1}-\lambda_n)x_{n-1} = 0$

不断重复这个操作，最终得到 $c_1(\lambda_1-\lambda_2)\cdots(\lambda_1-\lambda_n)x_1 = 0$。

因为 $x_1 \ne 0$ 且所有 $\lambda_i$ 不同，所以 $c_1 = 0$。类似地推出所有 $c_i = 0$，矛盾。故线性无关。$\square$

设 $\lambda$ 是复特征值，$x$ 是对应的复特征向量（可能是复数）。$\lambda^*$ 是 $\lambda$ 的共轭。

因 $A$ 是实矩阵，$A\bar{x} = \overline{Ax} = \overline{\lambda x} = \lambda^* \bar{x}$。

计算 $\bar{x}^T A x$：

$$\bar{x}^T A x = \bar{x}^T (\lambda x) = \lambda \bar{x}^T x = \lambda \|x\|^2$$ $$\bar{x}^T A x = (A\bar{x})^T x = (\lambda^* \bar{x})^T x = \lambda^* \bar{x}^T x = \lambda^* \|x\|^2$$

故 $(\lambda - \lambda^*)\|x\|^2 = 0$。因 $x \ne 0$，$\|x\|^2 > 0$，所以 $\lambda = \lambda^*$，即 $\lambda$ 为实数。$\square$

Step 1：计算对称部分

$$A_s = \frac{A+A^T}{2} = \frac{1}{2}\begin{pmatrix}4&4\\4&4\end{pmatrix} = \begin{pmatrix}2&2\\2&2\end{pmatrix}$$

Step 2：求 $A_s$ 的特征值

$$\det(A_s - \lambda I) = (2-\lambda)^2 - 4 = \lambda^2 - 4\lambda = \lambda(\lambda-4) = 0$$

特征值：$\lambda_1 = 4,\ \lambda_2 = 0$。

Step 3：结论

$$\max_{\|x\|=1} x^TAx = \lambda_{\max}(A_s) = 4$$

最优 $x$：$\lambda_1=4$ 的特征向量，$(A_s - 4I)v = 0 \Rightarrow v = \frac{1}{\sqrt{2}}\begin{pmatrix}1\\1\end{pmatrix}$。

验证：$x^TAx = \frac{1}{2}(1,1)\begin{pmatrix}2&3\\1&2\end{pmatrix}\begin{pmatrix}1\\1\end{pmatrix} = \frac{1}{2}(1,1)\begin{pmatrix}5\\3\end{pmatrix} = \frac{8}{2} = 4$ ✓

上下界：已由换基证明 $R(x)\in[\lambda_n,\lambda_1]$。

连续性：$R(x) = \frac{x^TAx}{x^Tx}$ 是 $\mathbb{R}^n\setminus\{0\}$ 上的连续函数，其定义域（去掉原点的连通集）在 $R$ 下的像是连通集，即区间。

端点可达：$R(q_1)=\lambda_1$，$R(q_n)=\lambda_n$。

由介值定理，$R$ 能取到 $[\lambda_n, \lambda_1]$ 中所有值。$\square$

推论：$A$ 正定 $\Leftrightarrow$ $\lambda_n>0$ $\Leftrightarrow$ $R(x)>0,\ \forall x\ne0$，即 $x^TAx>0$ 恒成立。

$\|Ax\|^2 = x^TA^TAx$，这是以 $A^TA$（$n\times n$ 对称半正定矩阵）为参数的二次型。

$A^TA$ 的特征值 = $A$ 的奇异值的平方：$A^TA = V\Sigma^T\Sigma V^T$，故

$$\max_{\|x\|=1} x^TA^TAx = \lambda_{\max}(A^TA) = \sigma_{\max}^2(A)$$

最优 $x = v_1$（最大奇异值对应的右奇异向量），此时 $\|Av_1\| = \sigma_1$。

谱范数：$\|A\|_2 = \max_{\|x\|=1}\|Ax\| = \sigma_{\max}(A)$，这正是矩阵谱范数的定义。

几何意义：$A$ 把单位球映射成一个椭球，半轴长度是各奇异值 $\sigma_1\ge\cdots\ge\sigma_r>0$，方向是右奇异向量。$\sigma_1$ 是最长半轴，即 $A$ 最大拉伸方向。