← 全部笔记

高等代数

广义逆与最小二乘

文章目录

来源 谢启鸿、姚慕生, 高等代数学习指导书, 第4版, 第9章, 印刷页 590–593, 599–600. PDF页码 = 印刷页码 + 10。 来源PDF 根据已目视核对的扫描件整理;简洁证明及明确标出的推广为整理者补充。

设A∈Fm×nA\in\mathbb F^{m\times n}取自R\mathbb R或C\mathbb C。从奇异值分解A=UΣV∗A=U\Sigma V^*出发,将每个正对角元取倒数、零保持不变,得到大小为n×mn\times m的Σ†\Sigma^\dagger。Moore–Penrose广义逆为 A†=VΣ†U∗.A^\dagger=V\Sigma^\dagger U^*.

四个Penrose方程 AA†A=A,A†AA†=A†,(AA†)∗=AA†,(A†A)∗=A†A.AA^\dagger A=A,\quad A^\dagger AA^\dagger=A^\dagger,\quad (AA^\dagger)^*=AA^\dagger,\quad (A^\dagger A)^*=A^\dagger A. 这些方程唯一刻画A†A^\dagger。

存在性。 在奇异坐标下,四个方程均为标量对角恒等式,并给出AA†=Pim⁡AAA^\dagger=P_{\operatorname{im}A}、A†A=P(ker⁡A)⊥A^\dagger A=P_{(\ker A)^\perp}。

唯一性。 若BB满足四个方程,ABAB是像为im⁡A\operatorname{im}A的自伴幂等变换,所以是该空间的正交投影。同样,BABA是核为ker⁡A\ker A的自伴幂等变换,所以投到(ker⁡A)⊥(\ker A)^\perp。由B=BABB=BAB,BB的像包含于(ker⁡A)⊥(\ker A)^\perp,并在(im⁡A)⊥(\operatorname{im}A)^\perp上为零。在im⁡A\operatorname{im}A上,它必须为双射A:(ker⁡A)⊥→im⁡AA:(\ker A)^\perp\to\operatorname{im}A的逆,这完全确定BB。

最小二乘

为极小化∥Ax−b∥\|Ax-b\|,分解b=Pim⁡Ab+b⊥b=P_{\operatorname{im}A}b+b_\perp。不可避免的残差为−b⊥-b_\perp。所有极小解为 x=A†b+z,z∈ker⁡A.x=A^\dagger b+z,\qquad z\in\ker A. 由于A†b⊥ker⁡AA^\dagger b\perp\ker A,它是唯一的最小范数极小解。若原方程组相容,这些恰为全部精确解。

正规方程 A∗(Ax−b)=0A^*(Ax-b)=0 等价于残差正交,并且总相容。它们刻画所有极小解,但在AA秩亏时,不会单独选出最小范数解。

若AA列满秩,则A†=(A∗A)−1A∗A^\dagger=(A^*A)^{-1}A^*;若行满秩,则A†=A∗(AA∗)−1A^\dagger=A^*(AA^*)^{-1};可逆方阵满足A†=A−1A^\dagger=A^{-1}。这些公式依赖所列秩条件;一般秩应使用奇异值分解,或两个支撑子空间之间的逆。

方法 分开三个问题:最近的可达向量AxAx、达到该向量的原像所组成的仿射空间,以及其中范数最小的成员。正交投影回答第一个,核回答第二个,支撑子空间之间的逆回答第三个。