2.3 定理三#
若 \(\text{rank} \pmb{A}=m\) ，即 \(\pmb{A}\) 的列向量线性无关，则 \(\pmb{Ax}=\pmb{b}\) 必有解，且极小范数解为：
\[
\pmb{x}^+=\pmb{A}^T(\pmb{AA}^T)^{-1}\pmb{b}
\]
证明
因为 \(\text{rank} \pmb{A}=m\) ，则 \(\dim C(\pmb{A})=m\) ，列空间 \(C(\pmb{A})\) 充满 \(\mathbb{R}^m\) ，所以任一 \(\pmb{b}\in\mathbb{R}^m\) 使 \(\pmb{Ax}=\pmb{b}\) 有解。
推导方法1
因为 \(\pmb{A}\) 的列向量线性无关，所以 \(\pmb{x}^+\in C(\pmb{A}^T)\) 可唯一表示为列向量的线性组合，即存在唯一的 \(\pmb{c}\) 使得 \(\pmb{x}^+=\pmb{A}^T\pmb{c}\) 。代入 \(\pmb{Ax}^+=\pmb{b}\) ，得：
\[
\pmb{AA}^T\pmb{c}=\pmb{b}
\]
因为 \(\text{rank}(\pmb{AA}^T)=\text{rank}(\pmb{A})=m\) ，所以 \(\pmb{AA}^T\) 可逆\(^{[5]}\)。
故：\(\pmb{c}=(\pmb{AA}^T)^{-1}\pmb{b}\)
解得：\(\pmb{x}^+=\pmb{A}^T(\pmb{AA}^T)^{-1}\pmb{b}\)
推导方法2，使用拉格朗日乘数法\(^{[4]}\)
\[\begin{split}
\begin{split}minimize \quad &\begin{Vmatrix}\pmb{x}\end{Vmatrix}\\subject\quad to \quad& \pmb{Ax}=\pmb{b}\end{split}
\end{split}\]
最小化 \(\begin{Vmatrix}\pmb{x}\end{Vmatrix}\) ，等价于最小化 \(\begin{Vmatrix}\pmb{x}\end{Vmatrix}^2=\pmb{x}^T\pmb{x}\)
拉格朗日函数：\(L(\pmb{x},\pmb{\lambda})=\pmb{x}^T\pmb{x}+\pmb{\lambda}^T(\pmb{Ax}-\pmb{b})\)
其中 \(\pmb{\lambda}\) 是 \(m\) 维拉格朗日乘数向量。计算：
\[\begin{split}
\begin{split}\frac{\partial L}{\partial\pmb{x}}&=2\pmb{x}+\pmb{A}^T\pmb{\lambda}\\\frac{\partial L}{\partial\pmb{\lambda}}&=\pmb{Ax}-\pmb{b}\end{split}
\end{split}\]
令上述两式等于零，得到最优化条件式。得：\(\pmb{x}^+=-\frac{1}{2}\pmb{A}^T\pmb{\lambda}\) ，代入 \(\pmb{Ax}^+=\pmb{b}\) ，得：
\[
-\frac{1}{2}\pmb{AA}^T\pmb{\lambda}=\pmb{b}
\]
解得：\(\pmb{\lambda}=-2(\pmb{AA}^T)^{-1}\pmb{b}\)
所以：\(\pmb{x}^+=\pmb{A}^T(\pmb{AA}^T)^{-1}\pmb{b}\)