《基础准备及入门》PPT课件

《《基础准备及入门》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、王国利信息科学与技术学院自动化系中山大学http://human-robot.sysu.edu.cn系统辨识(SystemIdentification)第十讲:最小二乘法最小二乘法最小二乘估计-辨识对象:单输入单输出(SISO)系统A(z-1)y(k)=B(z-1)u(k)+e(k)z-1是延迟算子A(z-1)=1+a1z-1+a2z-2+…+anz-nB(z-1)=b0+b1z-1+b2z-2+…+bnz-n-辨识问题:给定I/O数据{u(k),y(k),k=0,1,2,…,n+N}归结为估计{a1,a2,…,an,b0,b1,b2,…,bn}

2、最小二乘法(续)-记号与问题描述y(n+k)=φ(n+k)Tθ+e(n+1),k=1,2,…,N其中θ=[a1a2…anb0b1b2…bn]Tφ(n+k)=[-y(n+k-1)-y(n+k)…y(k)u(n+k)u(n+k-1)…u(k)]TN序列回归矩阵ΦN=[φ(n+1)φ(n+2)…φ(n+N)]TN序列系统模型YN=ΦNθ+eN回归向量参数向量最小二乘法(续)N序列回归模型(续)YN=[y(n+1)y(n+2)…y(n+N)]TeN=[e(n+1)e(n+2)…e(n+N)]T给定估计的参数θ^,N序列回归预测误差向量e^=YN-ΦNθ^

3、二次预测残差（注意是标量）J(θ^)=[e^]Te^=(YN-ΦNθ^)T(YN-ΦNθ^)=Σk[e^(n+k)]2最小二乘估计θls=argminθ^J(θ^)最小二乘法(续)-最小二乘估计多元函数微分：f(x1,x2,…,xn):RnRf关于x的微分为df/dx=[∂f/∂x1∂f/∂x2…∂f/∂xn]Td2f/dx2=[∂2f/∂xi∂xj]特别地f(x)=bTx=xTbdf/dx=bf(x)=xTAxdf/dx=(A+AT)xd2f/dx2=(A+AT)最小二乘法(续)J(θ^)关于参数向量θ^的一阶和二阶微分J(θ^)=(YN

4、-ΦNθ^)T(YN-ΦNθ^)=[YN]TYN-[YN]TΦNθ^-[ΦNθ^]TYN+[ΦNθ^]TΦNθ^=[YN]TYN-2[YN]TΦNθ^-[θ^]T[ΦNTΦN]θ^容易验证dJ/dθ^=-2[ΦN]TYN-2[ΦNTΦN]θ^d2J/dθ^2=-2[ΦNTΦN]若d2J/dθ^2<0,则θls是最小二乘估计当且仅当dJ/dθ^(θls)=０[ΦNTΦN]θls=[ΦN]TYNθls=[ΦNTΦN]-1[ΦN]TYN最小二乘法(续)－加权最小二乘估计二次预测残差J(θ^)=Σkw(k)[e^(n+k)]2=(YN-ΦNθ^)TkW

5、(YN-ΦNθ^)同理容易验证dJ/dθ^=-2[ΦN]TWYN-2[ΦNTWΦN]θ^d2J/dθ^2=-2[ΦNTWΦN]θwls满足加权正则方程dJ/dθ^(θwls)=０[ΦNTWΦN]θwls=[ΦN]TWYNθwls=[ΦNTWΦN]-1[ΦN]TWYNW=diag[w(n+1),w(n+2),…,w(n+k)]最小二乘法(续)最小二乘的统计性质最小二乘估计的随机性来源于系统噪声e(k)统计特性假设1){e(k)}是独立同分布(i.i.d.)的随机噪声且E[e(k)]=02）{e(k)}和{y(k),u(k)}独立/不相关3）N序列

6、噪声协方差矩阵R=cov(eN)=E[eNTeN]=[E[e(n+i)e(n+j)]]=diag{E[e(n+i)e(n+i)]}=σe2INxN（白噪声情形）最小二乘法(续)-无偏性：估计的期望值与真值相同定理：在上述假设下，加权最小二乘产生无偏估计证明:回顾加权最小二乘θwls=[ΦNTWΦN]-1[ΦN]TWYN=[ΦNTWΦN]-1[ΦN]TW(ΦNθ+eN)容易看出E[θwls]=[ΦNTWΦN]-1[ΦN]TWΦNθ+[ΦNTWΦN]-1[ΦN]TWE[eN]=θ得证。最小二乘法(续)-有效性：估计的方差为最小定理：当W=R-1,加权

7、最小二乘估计为最小方差估计证明：当W=R-1,加权最小二乘为θwls=[ΦNTR-1ΦN]-1[ΦN]TR-1(ΦNθ+eN)=θ+[ΦNTR-1ΦN]-1[ΦN]TR-1eN=:θmv容易验证cov(θmv)=cov([θmv-θ][θmv-θ]T)=[ΦNTR-1ΦN]-1[ΦN]TR-1cov(eN)ΦN[ΦNTR-1ΦN]-1=[ΦNTR-1ΦN]-1下面证明cov(θwls)>=cov(θmv)最小二乘法(续)下面证明cov(θwls)>=cov(θmv)引入记号：Lwls=[ΦNTWΦN]-1[ΦN]TWLmv=[ΦNTR-1ΦN]-

8、1[ΦN]TR-1则协方差可以表示成cov(θwls)=LwlsR[Lwls]Tcov(θmv)=LmvR[Lmv]T注意到LwlsR[