线性代数的核心问题是解方程。高斯消去法启示的初等变换，至今仍是解线性方程组和矩阵计算的基础。行列式因研究线性方程组解而被引入，带来矩阵的表示，进而联系起抽象的代数。代数能应用于现实中，在于它具备解方程的有效手段。解方程的算法从空间的角度来看是坐标变换，不仅由此易于得出解的表示，也因此能够看到定性的结果。线性方程的解从理论到算法都有着清晰明确的结果。这导致成功的科学理论系统基本都是线性的。 9.1 线性方程的定性理论 从 X 到 Y 线性空间抽象的线性算子 A ，作用在向量 x ， 映射得到 x 的像 b ，于是有等式 A x = b 。这便是线性方程。这式子可以表示任何线性空间中线性算子的作用，一切线性方程都可以表示成这个等式。从已知的 A 和 b ，求 x ，是解方程。如果这是微分算子的线性组合在函数空间中的作用，则是线性微分方程；对积分算子则是积分方程；在有限维空间则是代数线性方程组。它们有着共同的性质。 A x = 0 ，叫做齐次方程，它的解构成 Y 的一个子空间 Ker(A) ，即零空间。满足 A x = b 的等式任何一个向量 x 0 叫做特解，通解则是特解与零空间中任何一个向量之和。只有 b 在算子的像空间 Im(A) 中，解才存在。如果像空间就是 Y 的全空间，即映射是满的，解总是存在的。当零空间只有一个 0 向量时，线性方程若有解，则是唯一的。线性空间是无穷维时，上述的结论还涉及到收敛的问题，这要求算子是闭的。巴拿赫空间（定义了距离且柯西列都收敛的向量空间）中，线性算子定义域 D(A) 中的序列 (x n ) ，当 x n → x ， A x n → b ，有 x 也在 D(A) 中，且 A x = b ，则称 A 是 闭的 。 从代数的角度来看，从 Y 映射到 X 的线性算子 A R 和 A L ，若 AA R = I ，称 A R 是 A 的 右逆 ；若 A L A=I ，称 A L 是 A 的 左逆 。 如果算子有右逆，从 A(A R b)= b 得知，至少存在着一个解 x 0 =A R b 。如果有左逆，若 x 是方程的解，因为 x=A L (Ax)=A L b ，它则是唯一的解。当 A L =A R 时，依定义是 A 的逆 A -1 ，这时方程的解存在且是唯一的，反之亦然。对此不难有，无穷维的巴拿赫空间（包括了希尔伯特空间）的逆算子定理：一一满映射闭算子的逆存在，而且是有界的。 9.2 有限维线性方程组 在有限维线性空间，线性算子表达为矩阵 A ，可以从空间看到更清晰的图像。 表示成 m*n 矩阵形式，用算子和向量的符号把方程简记如下： 从线性算子角度来看，它自然拥有上面抽象线性方程的全部结论。 将矩阵第 j 列看成是一个列向量，记为 A j ，即 ，这个线性方程组可以写成： 这意味着解是将方程组右边的向量 b ，表示为矩阵中列向量线性组合的系数。算子 A 的像空间，即是矩阵 A 的列空间。线性方程组有解的充要条件是：方程组右边的向量是矩阵列向量的线性组合，或说它与它们是线性相关的。齐次方程 A x = 0 没有非零解，意味着 A 的列向量是线性无关的。显然，如果非齐次方程有解，方程组右边的向量，是这些线性无关的列向量的线性组合，这个组合的表示是唯一的。如果齐次方程有非零解，线性相关的列向量则有多种的线性组合，表示同一个向量。这对应着这方程组有唯一解或无数的解。 再从空间的几何图像来看。线性方程组的每个方程，例如第 i 个方程， ，将系数看成矩阵行向量 a i 的分量，用向量内积的式子记为 ，这表明满足这第 i 个方程解 x ，是空间中一个变动的向量，它与向量 a i 的内积是 b i ，所以满足这第 i 个方程所有的向量 x 的所指的点，在 n=3 时是 3 维空间中的一个平面，对于一般的 n ，是 n 维空间的一个 超平面 （注：这里的超平面，指 n 维几何空间中的 n-1 维平面，它不是指那种过原点作为线性 n-1 维子空间的超平面），它与向量 a i 的方向垂直，与原点的距离是 。 这 m 个线性方程组的解，是这 m 个超平面的交集，它是 n 维空间里的一个子集，在极端情况可以是一个点或空集。也就是说线性方程组可以有无数个解，有唯一的解或无解。 9.3 解线性方程组 线性方程具有非常确定的解法和清晰理论结果。这是它能被广泛应用的原因。我们必须充分地了解这些结果，才有把握应用好计算机求解的软件。 中学代数让我们习惯于方程的个数等于未知数的个数，其他情况没有答案。在应用中，我们可能有多于或少于未知数的方程，实际上即使等量的方程数，由于在数学模型中抽象为属性的未知数相关或相近，方程作为实验的样本也可能是线性相关的相近的，这样解方程也可能陷入无解、多解或不确定解的情况。我们需要了解从实用角度怎么处理这些问题，并理解计算软件解方程的函数。下面我们分析 n 个未知数 m 个线性方程组 A x = b 中，矩阵 A 的不同情况，然后汇总答案。 A 是满秩方阵。 这时 A 的逆 A -1 存在，方程个数 m 与未知个数 n 相等，且列向量线性无关，方程的解可以表示为 x = A -1 b. A 是列满秩的长方阵 。这是列向量线性无关，方程个数多于未知个数的情况，矩阵 A 的秩 r = n m ，这时方程可能有解也可能无解。我们不能扔掉几个方程来求解，那犯了丢弃实验数据去修改计算的错误，正确的做法是求误差最小的解 y ， 。 用最小二乘法可以推出正规方程（ normal equation ） A T A y =A T b ，它的解 y 是满足方程式约束的最小误差向量。在几何直观上，这最小误差解 y 对应着向量 b 在 A 列空间投影 P b 的解，即 A y = P b 。投影的算子 P=A (A T A) -1 A T . 对于列满秩的 A ，方阵 A T A 是满秩的， A T A 的逆存在。显然 A L =(A T A) -1 A T 是 A 的左逆。若方程右边向量 b 就在 A 的列空间中，方程有解，这时 P b = b ，正规方程的解 y 也就是原方程的解 x 。从左逆的存在，知道 x =(A T A) -1 A T b 是唯一的解。 A 是行满秩的扁方阵 。这是矩阵列向量线性相关，方程个数少于未知个数的情况，矩阵 A 的秩 r =m n ，这时方程有多个解，解点构成 n 维空间中一个 n-m 维的超平面。只要求出一个特解 x 0 ，通解便是 x 0 加上 A 零空间的向量。对于这个行满秩的 A ，方阵 AA T 的逆存在，显然 A R =A T (AA T ) -1 是 A 的右逆， x 0 = A T (AA T ) -1 b 是方程的一个特解，若 z 是 A 的零空间中的一个向量，它们的内积〈 x 0 , z 〉 = 〈 A T (AA T ) -1 b , z 〉 = 〈 (AA T ) -1 b , A z 〉 = 〈 (AA T ) -1 b , 0 〉 = 0 ，这说明 x 0 与零空间正交。而方程的通解是由 x 0 与零空间中向量之和，这些端点构成了解平面。 x 0 与这解平面垂直， x 0 的长度是从原点到这解平面的距离，是这方程中长度最短的解。 A 是秩亏缺的 。这是矩阵列向量线性相关，方程个数多于线性无关的未知个数情况，矩阵 A 的秩 r 小于 m 和 n ，这方程可能是无解但一旦有解则有多解。这时矩阵 A 没有左逆或右逆，更不可能有逆。但有一种 伪逆 （ Moore–Penrosepseudoinverse ）可以用来给出它的广义解。让我们看看这是什么？ 秩数为 r 的 m*n 矩阵 A ，都可以做奇异值分解 A= U Σ V T ，这里 U 是 m 阶正交阵， V 是 n 阶正交阵，Σ是主对角线上有从大到小的 r 个正数，其余都是 0 的 m*n 矩阵。将Σ主对角线上非零元素取倒数，构造 n*m 矩阵Σ + 如下： 令 A + =V Σ + U T ， A + 称为 A 的伪逆。从这伪逆的构造中很容易看出它的几何意义： AA + 是对 A 的像空间 Im(A) 投影算子， A + A 是对 A T 像空间 Im(A T ) 的投影算子。不难从几何含义中或从代数式子中推出，它还有这些性质： AA + A=A ， A + AA + =A + ， (AA + ) T =AA + ， (A + A) T =A + A. 这个伪逆 A + ，当 A 是满秩方阵时等于它的逆 A + =A -1 ， A 是列满秩时等于左逆 A + =A L ， A 是行满秩时等于右逆 A + =A R ，所以它是包含了这三种情况广义的逆。 令 y 0 =A + b ，它是方程 A y =AA + b 的解。因为 AA + 是 A 的像空间投影算子，如果 b 在 A 的像空间中， y 0 就是 A x = b 方程的一个解，否则它是与之最小误差的解。如果矩阵 A 的秩小于它的列数，方程的解或最小误差解是多个的。这个 y 0 是从原点到解平面的垂线。总之 y 0 =A + b ，可以作为各种情况下，满足线性方程组约束的最好结果。 上述都是解线性方程组最基本的内容。下面的练习是熟悉、记忆、应用这些知识的最好手段。 在MATLAB或Octave中，通过验证下面的例子来熟悉用计算机的矩阵计算。赋值2x4矩阵 A= ，函数N=null(A)给出A的零空间的一个标准正交基（线性无关向量组），rank(A)给出矩阵A的秩，size(A)给出A的行数和列数。用矩阵乘法A*N，验证N是A的零空间，随机给几个矩阵通过以上指令，来验证秩-零度定理。 在数值计算中的定性结果与允许的误差有关，在一些函数变量中都有允许误差的参数tol，如null(A,tol)和rank(A,tol)，不同的误差允许值可能得出不同的结果。设A2= 计算tol=0.01和 0.001时，B的秩，零空间。为什么B*N也近似为0矩阵？ 在MATLAB和Octave中用于计算矩阵A的逆的指令函数是：inv(A)，计算伪逆是：pinv(A).建议读者在计算软件中，用几种2x3和3x2行满秩、列满秩，秩亏缺的矩阵A及相应的b向量，运用矩阵的乘法和这些函数，计算左逆，右逆，伪逆，投影算子，方程解并验证它们间的关系。 可以用x=A\b来得到线性方程组A*x=b的一个解，它等于pinv(A)*b. 验证x与Null(A)中任何向量的和，都是这线性方程组的解。 9.4 微分方程 微分方程与代数方程的区别，在于前者算子作用的线性空间是无穷维，后者则是有限维的。微分和积分都是线性算子，微积分的计算基本都是映射和线性代数运算，只因涉及有无穷个线性无关的向量，则要考虑无穷个线性组合的收敛问题。有这个理解在心，就不至迷惑于在线性代数中未见的许多条件，放心从抽象的高度，透视许多繁杂的定理和计算方法。 在计算机时代之前，人们用函数族作为无穷维线性空间的基，用级数或积分来表示解与系数中的函数，在算子作用下将微分方程变成代数方程来求解。这在物理研究中被广泛地采用。 另一种解法是对无穷维线性空间进行线性变换，如拉普拉斯变换，将解微分方程变成在另一个线性空间中的代数运算。在现代控制理论中，对线性动态系统的微分方程，应用这种解法，已成为分析和计算的必备的数学工具。 在计算机时代，机器可以直接给出数值解。应用者不必像旧时代那样，花费大量时间学习各种计算方法和技巧了。只需要有一些基本的概念。 高阶常微分方程，通过定义导数变量 x k+1 (t)=x’ k (t) 的方式，把它写成一阶微分方程的向量形式 x ‘ (t) = f ( x , t), x (0) = c . 将方程两边积分后，有定理证明只要这个 f “足够光滑”（满足 Lipschitz 条件），微分方程存在着唯一的解，整理成线性算子作用的形式是： x (t) = Φ (x,t) x (0). 对于一个离散的时间序列，可以写成递推的式子，如龙格－库塔法，来计算这些向量值。 离散的数值计算作为精确解的近似是否有意义，取决于它对初值和参数变化的稳定性。对于线性常微分方程，这个稳定性可以通过对微分方程矩阵的特征值分析容易得知。这在现代控制理论中的课程中有详细介绍。 （待续）
标签: 定性理论
