Summary

开贴讨论Rank deficient matrix线性回归之过程。示例数据包含在附件中，x is a matrix whose columns represent random variables and whose rows represent observations，y is an n-by-1 vector ofobserved responses。

回归方程组可如下表示：

式中：x_i（i=1,2,…,10）与b均为m维列向量，求解a₁,a₂,…,a₁₀。

Fig. 1显示方程组增广矩阵，左边9×10表示x_i，第11列是b。

Fig. 1

引用定理：

n个未知数的非齐次线性方程组Ax=b有解的充分必要条件是系数矩阵A的秩（Rank）等于增广矩阵B的秩，且当R(A)=R(B)=n时方程组有惟一解，当R(A)=R(B)=r<n时方程组有无限多个解。[6]—P96。

Method

解：系数矩阵的秩R(x_i)=9，增广矩阵的秩R(x_i, b)=9<10

所以方程组a₁,a₂,…,a₁₀有无限多个解。

若在Matlab应用regress函数，此时返回“Warning: X is rankdeficient to within machine precision.”，即是明示方程组系数矩阵是秩缺的。prc.rar

%此时

X=[ones(9,1) x];

[coefs,bint,r,rint,stats]=regress(b, X);

coefs=

0

1.26061943597438

3.23820029692269

-5.86899781062611

0

0.394522181750229

-1.56586683726205

4.19512963015161

-2.15499211579584

-0.256449681084742

1.82364987066155

这一组回归系数是方程组的可能解之一，它使得回归结果的残差最小（regress essentially computes the least error solution such that sum of residuals of Y -X*B has the least amount of error.）。

一般地，方程个数（本例是9个）小于未知数数量（10）是一定不能找到惟一解的。

参考文献[7]是一个非常好的例子，认真体会理解！本例应用regress有一点例外，它的输入矩阵不包含常数项（the intercept term），我曾去信询问@rayryeng，他在回复中指出这是数据提问者要求的（didn't include the intercept term because that is specific to his problem），他当时没有追究这个问题（I didn't question it because that was specific to his problem）。我尝试在输入矩阵之中包含常数项，按照方法介绍的过程得到了类似的结果，所以这个方法的准确性不应是否包含常数项而存在不同，都是正确的。

References

[1] Rank deficient for multipl regression.

[2] Covariance, from Wikipedia, thefree encyclopedia.

[3] 浅谈协方差矩阵. X，Y相互独立协方差一定为零，但是其逆命题却不真。

[4] 协方差与相关系数.

[5] A matrix is said to have full rank if its rank equals the largest possible for a matrix of the same dimensions, which is the lesser of the number of rows and columns. A matrix is said to be rank deficient if it does not have full rank. Rank (linear algebra), from Wikipedia, the free encyclopedia.

[6] 同济大学数学系. 工程数学:线性代数(第六版). 北京:高等教育出版社, 2014.

[7] Getting rank deficient warning when using regress function in MATLAB?