资源描述：
《第二章参数估计理论4》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、SVD-LS算法SVD定理：给定数据矩阵A()KM×,存在两个酉矩阵V和U，使得M×MK×KH⎛⎞Σ10UAV=⎜⎟=Σ（1）⎝⎠00其中Σ=diag(σ,σσ,...,)且σ≥≥≥σσ...，rK≤min(,M)。11122rr1122WWSVD定理也可以写成如下形式：⎛⎞Σ0rH1HHHAU==ΣVU⎜⎟VU==111ΣVu∑σiiiiv，（2）⎝⎠00i=1其中uv和为列向量，分别称A的左，右奇异向量。iiK×M又由于2HH2⎛⎞Σ10H2HVAAV==Σ⎜⎟或者AAV=ΣV（3）⎝⎠00H因此V的列向量v是()AA的特征向
2、量，其对应的特征值是A的奇异值σ的iM×Mi2平方σ。iH同理，U的列向量u是AA的特征向量，其对应的特征值是A的奇异值σii2的平方σ。i由奇异值分解定理，可以定义A的一个更广义的伪逆矩阵⎛⎞−1r†Σ10H1HA==VUv⎜⎟∑iiu（4）⎝⎠00i=1σii原先Aw=b的最小二乘解即为求A的广义逆†1HH−wAbAAAb==()（5）当A非列满秩（因为这里只讨论超定情况，所以只考虑非列满秩，而在欠定情HH−1况下应为非行满秩）所以AA非满秩，即()AA不存在，因此（5）式无法实现。这时，用（4）式可得最小二乘解⎛⎞−1r†1
3、Σ10HHH−1wAbV==⎜⎟UbV=11ΣUv1=∑iiub（6）⎝⎠00i=1σiiH当AA满秩时LS解是唯一的，用（6）式和用（5）式给出的LS解是一致的，H当AA非满秩时，（5）式不可用，LS解有很多个，其中解的模值最小的只有一个，这就是（6）式给出的SVD解。从这个意义上，SVD-LS解法更通用。问题1：虽然在理论上ir>时奇异值σ=0，但实际上，由于有计算误差等i因素存在，σˆ在ir>时并不等于零。i有效秩：有效秩确定有两种常用方法。σˆi计算归一化奇异值：σ=，且σ≥ε，可取ε=0.05等；ikσˆ1222AkFσ
4、σ12+++...σk范数比方法：vk()==≥=α,hmin(,KM)，可取Aσσ22+++...σ2F12hα=0.98等。问题2：（6）式这种最小二乘解包含了M个解参数，即w有M个元素。然而，由于Aw=b中A非列满秩（假设秩为r）意味着w中只有r个参数是独立参数，而其它参数是这r个参数是独立参数线性相关的结果。许多场合我们需要求出这r个独立（线性无关）的参数，而剔除包含冗余因素的M−r个参数。怎么办？——利用SVD进行子集选择，Golub等提出低秩LS方法（《矩阵分析与应用》）。总体最小二乘之SVD-TLS算法基本思想：不仅
5、用扰动量e去干扰数据向量b，而且用扰动矩阵E去干扰数据矩阵A，使之联合最小化。即()A+Ex=be+（7）或⎡⎤1(,[]−+bA[]−eE,)⎢⎥=0（8）⎣⎦x等价为(B+D)z=0（9）⎡⎤1其中增广矩阵Bb=−[,A]和扰动矩阵D=−[eE,]均为mn×(1+)维矩阵，z=⎢⎥⎣⎦x为(1n+)维列向量。TLS方法表述为求解向量z，使得1/2⎛⎞mn2DF==⎜⎟∑∑dijmin（10）⎝⎠ij==11mn×+(1)总体最小二乘问题归结为，求一个具有最小范数的扰动矩阵D∈C使得B+D非满秩，因为如果满秩则只有平凡解z=0。
6、设B的有效秩为p，且HBU=ΣV（11）令mn×+(1)矩阵Bˆ是B的最佳逼近，则BUˆ=ΣVH（12）p原方程（9）可以转化为Bz=ˆ0（13）（低秩方法）接着令mp×+(1)维矩阵Bˆ(,jjp+)是Bˆ的第j列到第j+p列组成的子矩阵，这样的矩阵Bˆ(,jjp+)共有n+1-p个，即BBˆˆ(1,1++pnp),...(1−,n+1)。B的有效秩为p意味着未知参数向量x中只有p个是独立的，不妨令这些T参数是x的前p个参数，它们连同1一起构成(1p+)1×维向量α=[1,,...,xx]。1p则（13）式所示的方程求解可以变为
7、如下n+1-p个方程组的求解：Bˆ(,jjp+=)α0,j=+1,...,n1−p（14）或写为⎡⎤Bˆ(1,1+p)⎢⎥⎢⎥Bˆ(2,2+p)α=0（15）⎢⎥@⎢⎥⎢⎥⎣⎦Bˆ(1,1np+−n+)该方程组的最小二乘解等价于使下列代价函数最小化HHfj()α=+⎡⎤Bˆˆ(1,ppn)αB(1,1+)α+...++⎡Bˆ(1−p,nn+1)α⎤Bˆ(+1−p,n+1)α⎣⎦⎣⎦（16）令(1pp+×+)(1)维矩阵np+−1SBB()pH=∑ˆˆ(,iip++)(,iip)（17）i=1则代价函数（16）式可以写为：Hp()f
8、()αα=Sα(18)∂f()α使其最小化，就是使=0，于是∂α()pSα=γe（19）Te=[1,0,...,0],γ为使参数向量α第一个元素为1的归一化常数。所以求得的待估计参数为−−()pp()xˆ=+SS(ii1,1)/(1,1),=1,.
