小二乘及偏最小二乘的参数估计方法-v

《小二乘及偏最小二乘的参数估计方法-v》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《化工过程动态数学模型》硕士研究生课程-2010陈祥光8/24/20211化工过程动态数学模型（化工与环境学院）第6章最小二乘及偏最小二乘的参数估计方法6.1最小二乘整批算法6.2最小二乘递推算法6.3实验数据处理6.4问题提出及最小二乘原理6.5偏最小二乘的基本含义6.6偏最小二乘的重要性6.7应用举例6.8单因变量的偏最小二乘回归模型8/24/20212化工过程动态数学模型（化工与环境学院）第6章最小二乘及偏最小二乘的参数估计方法最小二乘法自高斯在1795年提出以来，已有二百多年的历史，但至今仍广

2、泛用于参数估计。其主要原因是这种方法简单方便，而且是其他几种方法的基础。上式中：Y—量测向量；θ—参数向量；H—量测矩阵e—考虑量测误差的随机向量。6.1最小二乘整批算法（1）静态模型算法设需要估计的模型用下列代数方程表示：（6-1）8/24/20213化工过程动态数学模型（化工与环境学院）例如：当模型形式为Y=a1x1+a2x2+······+anxn一共进行了N次量测时：实际过程(或装置)8/24/20214化工过程动态数学模型（化工与环境学院）上式中R-1是加权矩阵，在此讨论R=I（单位矩阵）时

3、的最小二乘估计。为了使J成为最小值，取现在要使下列目标函数J为最小时，求出参数的估计值（6-2）整理后有：（6-3）一般情况下，量测次数N远大于待估计的参数的数目n。8/24/20215化工过程动态数学模型（化工与环境学院）（2）动态模型算法考虑单输入单输出（SISO）线性系统，用后移差分算符q-1表示的脉冲传递函数是：（6-4）考虑到量测噪声的存在，（6-4）式可写成：（6-5）上式中：k是采样次数，y是输出，u是输入，e是考虑噪声或不确定性的随机变量。8/24/20216化工过程动态数学模型（化工

4、与环境学院）该系统的框图如6-1所示：图6-1辨识系统示意图假定{e(k)}是独立的，零均值随机变量序列，而且在不同的k值下有相同的分布。如果采样次数从(1-n)至k，一共进行了(n+k)次时量测，则对y(k)可得出下列方程：8/24/20217化工过程动态数学模型（化工与环境学院）（6-6）可以看出，上式与（6-1）式很相似，在得到k次采样数据后的最小二乘估计值可象（6-3）式一样求取：8/24/20218化工过程动态数学模型（化工与环境学院）（6-7）上式中：---是（2n+1）维列向量；---是

5、k维列向量；---是k×(2n+1)维矩阵；---是(2n+1)×(2n+1)的对称矩阵。8/24/20219化工过程动态数学模型（化工与环境学院）上述的算法是在取得整批数据后，一次求取参数的估计值。在采样次数k值大的时候，矩阵HTH的计算比较费时，在模型阶次n高时，(HTH)求逆的计算工作量很大。6.2最小二乘递推算法值得注意的是：如果取得新的测量数据，需对估计值进行修正时，必须从头算起，完全不能利用原来的计算结果。在很多应用中，在有些自适应系统中，需要依据动态模型参数的估计值来确定控制作用，必须不

6、断依据新的数据来修正参数估计值。这就要求采用递推算法。8/24/202110化工过程动态数学模型（化工与环境学院）（6-8）（1）基本的递推算法递推算法的一般形式是：--是预报值。上式中：--是第k次采样数据后求出的参数估计值；--是得到第(k+1)次采样数据后求出的估计值；--是H矩阵的(k+1)行；--是(2n+1)维的修正列向量矩阵。8/24/202111化工过程动态数学模型（化工与环境学院）（2）式（6-8）的物理意义：在收到新的量测值后，要依据实际y值与预报值之差，对参数的估计值进行适当的修

7、正。在此，关键的问题是如何确定Kk+1，这在不同的算法中有不同的解答。如果Kk+1的修正过于强烈，估计值将波动较大，甚至不能收敛；但如果过于微弱，则需要经过很多次采样后，才能接近可靠的估计值。在最小二乘递推算法中，Kk+1的表达式为：（6-9）设则8/24/202112化工过程动态数学模型（化工与环境学院）在式（6-10）中，是个纯量，项成为简单的求倒数计算，只不过要有了，的计算就不困难。（6-10）但是，作为完整的算法，对P(k+1)也要有个递推算式，才能满足下一采样后进一步修正估计值的计算中的需要

8、。由矩阵求逆引理可以导出：（6-11）递推算法：已有数据→求P(k)→求Kk+1→由，→8/24/202113化工过程动态数学模型（化工与环境学院）以上的递推算法尽管在计算步骤上与整批算法不同，但计算结果是相同的，对所采集的各组数据，对最终结果起着同等程度的影响。在许多情况下，例如对于时变的系统，需要逐步减少老数据的作用，加强新数据的地位。一种办法是对数据组数作限制，一直规定为k，在收到第(k+1)组数据后，把第1组数据弃掉，吐故纳新。另一种常用的办法是