← 全部笔记

高等代数

奇异值分解与范数方法

文章目录

来源 谢启鸿、姚慕生, 高等代数学习指导书, 第4版, 第9章, 印刷页 589–592, 599–602. PDF页码 = 印刷页码 + 10。 来源PDF 根据已目视核对的扫描件整理;简洁证明及明确标出的推广为整理者补充。

设A∈Fm×nA\in\mathbb F^{m\times n},F=R\mathbb F=\mathbb R或C\mathbb C。奇异值是A∗AA^*A特征值的非负平方根,通常递减列出min⁡(m,n)\min(m,n)个值,必要时补零。

奇异值分解 A=UΣV∗,A=U\Sigma V^*, 其中U,VU,V为酉矩阵,实数情形为实正交矩阵;Σ\Sigma为矩形对角矩阵,对角项为σ1≥⋯≥σr>0\sigma_1\ge\cdots\ge\sigma_r>0,其后为零。这里r=rank⁡Ar=\operatorname{rank}A。

构造。 选取A∗AA^*A的一组标准正交特征向量基vjv_j。对每个正特征值σj2\sigma_j^2,令uj=Avj/σju_j=Av_j/\sigma_j。这些向量标准正交,因为⟨Avi,Avj⟩\langle Av_i,Av_j\rangle可通过A∗AA^*A计算。将uju_j扩充为值域所在空间的一组标准正交基。定义域中对应零特征值的向量属于ker⁡A\ker A,映为零;不能除以零奇异值。

秩与范数

若A≠0A\ne0,算子范数为∥A∥2=σ1\|A\|_2=\sigma_1;Frobenius范数满足∥A∥F2=∑jσj2\|A\|_F^2=\sum_j\sigma_j^2。对方阵, σmin⁡∥x∥≤∥Ax∥≤σmax⁡∥x∥.\sigma_{\min}\|x\|\le\|Ax\|\le\sigma_{\max}\|x\|. 因此每个特征值都满足σmin⁡≤∣λ∣≤σmax⁡\sigma_{\min}\le|\lambda|\le\sigma_{\max}。只有正规矩阵的奇异值才是特征值的绝对值。非零幂零矩阵只有零特征值,却具有正奇异值。

对方阵A,BA,B,依次应用极端估计,得到σmax⁡(AB)≤σmax⁡(A)σmax⁡(B)\sigma_{\max}(AB)\le\sigma_{\max}(A)\sigma_{\max}(B)及σmin⁡(AB)≥σmin⁡(A)σmin⁡(B)\sigma_{\min}(AB)\ge\sigma_{\min}(A)\sigma_{\min}(B)。

迹与秩

对秩为rr的方阵AA,奇异值分解与Cauchy–Schwarz不等式给出 ∣tr⁡A∣2≤r∥A∥F2.|\operatorname{tr}A|^2\le r\|A\|_F^2. 确实,tr⁡A=∑j=1rσjvj∗uj\operatorname{tr}A=\sum_{j=1}^r\sigma_jv_j^*u_j、∣vj∗uj∣≤1|v_j^*u_j|\le1。在r>0r>0时,取等号要求所有正奇异值相等,且所有正指标都有同一相位并满足uj=eiθvju_j=e^{i\theta}v_j。因此,等号成立当且仅当A=cPA=cP,其中cc为非零数量,PP为秩为rr的正交投影。在R\mathbb R上,cc为实数。零矩阵是另一个取等号的情形。

若P2=PP^2=P,每个非零奇异值至少为一。在正交分解im⁡P⊕(im⁡P)⊥\operatorname{im}P\oplus(\operatorname{im}P)^\perp下,有P=(IB00)P=\begin{pmatrix}I&B\\0&0\end{pmatrix},所以非零奇异值的平方为I+BB∗⪰II+BB^*\succeq I的特征值。它们全为一当且仅当B=0B=0,也就是PP为正交投影。