系统辨识（System Identification）课程计稿：第18讲.doc

《系统辨识（System Identification）课程计稿：第18讲.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、《系统辨识》第18讲要点第8章极大似然法和预报误差方法8.2极大似然参数估计辨识方法8.2.3极大似然参数估计的递推算法考虑以下模型：（A）其中：是均值为零，方差为的服从正态分布的白噪声。令：令：则此模型的参数极大似然估计问题就是求参数，使得其中满足：将在点处Talor展开，有：令：8其中：其中：由此，向量可以表示为：由于：设是模型在时刻的极大似然估计值，那么在点上的Talor展开，并考虑到在点上关于的一阶导数近似为零，则有：其中：它是一正定对称矩阵，为Talor展开时的残差项。令：，则有：8记：，则上式有：（B）其中：（C）由于，根据（B）式可知，若时刻的参数估计值使得

2、：时，则必达到极小值。由（C），利用反演公式，有：与最小二乘法类似，可以推出由此得到极大似然参数估计的递推算法（RML）。（见教材P245）注意：极大似然参数估计递推算法中向量的构成（见P246），其实，极大似然参数估计递推算法类似于增广最小二乘算法，所不同的只是向量的构造不一样。8.2.4极大似然估计量的统计性质8l一致性定理8.1：设是由个独立同分布随机变量的样本得到的参数的极大似然估计量，则有：l渐近正态性定理8.2：设是由个独立同分布随机变量的样本得到的参数的极大似然估计量，那么当时，的分布收敛于正态分布，即：其中：l有效性定理8.3：设是由个独立同分布随机变量的

3、样本得到的参数的极大似然估计量，令，则的协方差阵达到Cramer－Rao不等式的下界，即有：此定理说明了极大似然估计充分地利用了数据所提供的信息。8.3预报误差参数辨识方法此方法在先验分布未知的情况下也适用。88.3.1预报误差准则考虑以下一般地问题：其中：为维输出，为维输入，为参数，为均值是零，协方差为的噪声项。是输出量的初始状态，它是计算的必要信息。令：则有：（D）在获得数据的条件下，对数据的“最好”预报可取它的条件数学期望值，即：这一预报值使得这一“最好”的输出预报值可以通过极小化预报误差准则来获得。常用的预报误差准则有两类：ll其中：（E）且当时，。通过极小化或获

4、得的参数估计值称为预报误差估计值，它用不着数据的先验分布知识。8.3.2预报误差方法与极大似然法之间的联系8设模型噪声是不相关的随机向量，与统计独立，由全概率公式，有：由（D）可知（利用随机变量置换）由（E）可知于是有：若服从正态分布，其均值为零，协方差为，则上式有：（1）若已知时：极大化似然函数等价于极小化，由矩阵迹的运算性质：考察到和的定义，有其中：取。（2）若未知时：极大化似然函数等价于极小化负似然函数8（F）利用：注意到的对称性，有：那么的极大似然估计值为将代入（F），再对极小化，就可以得到参数的极大似然估计值，即有：于是，关于的极小化问题等价于极小化。8.3.3

5、预报误差参数估计方法不需要数据的先验分布信息，直接极小化预报误差准则函数和。若噪声的协方差已知时，取；若噪声的协方差未知时，取。具体采用优化方法：（1）Newton－Raphson法（P256）（2）松弛算法（P258）8.3.3预报误差参数估计量的统计性质定理8.4：在弱正则条件下，极小化准则函数和8所得到的预报误差参数估计值，当时是一致收敛的，即有：定理8.5：在弱正则条件下，极小化准则函数和所得到的预报误差参数估计值，当时，其概率分布收敛于正态分布，即有：对应于：对应于：其中：是的协方差，是正定的加权阵，且：8