《系统辨识第四章》ppt课件

《《系统辨识第四章》ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、系统辨识基础1系统辨识☆第一章模型方法与辨识☆第二章脉冲响应辨识☆第三章最小二乘辨识☆第四章极大似然辨识☆第五章时间序列建模与随机逼近辨识☆第六章模型阶次的辨识☆第七章闭环系统辨识2第四章极大似然辨识☆前言☆4-1极大似然原理☆4-2动态系统模型参数的极大似然估计☆4-3极大似然估计的一致性☆4-4预报误差参数辨识法3第四章极大似然辨识极大似然法，是一种适用范围非常广泛的传统辨识方法，1906年，由R.A.Fisher提出。极大似然估计方法在随机系统参数估计、故障检测及容错控制等方面，有广泛应用。把这种经

2、典的估计方法用于动态过程或动态系统辨识，可以获得良好的估计性质。极大似然法要求已知输出量的条件概率密度函数，建立随机观测数据与未知参数之间的概率特性和统计关系，通过使条件概率密度函数为极大的准则，求出未知参数的估计值。因而，极大似然辨识法是一种概率性的参数估计方法。4§4-1极大似然原理一、似然函数56可见，条件概率密度函数与似然函数有不同的物理含义，但其数学表达形式一致，即78910二、极大似然估计求法⒈极大似然估计定义11⒉似然方程与对数似然方程故可通过由于1213⒊正态独立同分布随机过程均值与方差的

3、极大似然估计14取对数似然函数15用对数似然方程：令有16令0因故得：17求出18验证：19例4-1〈解〉20相应的对数似然函数21且22例4-2〈解〉23相应的对数似然函数24§4-2动态系统模型参数的极大似然估计一、第1种模型噪声情况设动态系统差分方程为25式中2627⒈噪声的联合概率密度函数28⒉向量方程误差的似然函数则向量方程误差为（残差）2930⒊输出观测向量的似然函数根据随机向量变换法则，可以导出31⒋模型参数的极大似然估计观测向量Y的对数似然函数为32得：整理：3334⒌两点注意事项35二、

4、第2种模型噪声情况设动态系统的差分方程为：36因z(k)是v(k)与v(k-1)的线性组合，故z(k)也是零均值正态分布噪声序列，但不再是无关序列。37⒈噪声的统计特性⑴均值38⑵方差阵⑶联合概率密度函数39⒉观测向量的似然函数⒊模型参数的极大似然估计40有表明：此时模型参数的极大似然估计正好等于模型参数的马尔可夫估计。41§4-3极大似然估计的一致性动态系统极大似然估计的一致性问题，经常转换为预报误差方程的预报误差估计的一致性问题。因为一大类含噪声的线性系统的差分方程或状态方程，可以转化为预报误差方程，

5、而预报误差方程与似然函数之间可以建立起直接的联系，所得结果具有较宽的适用范围。根据输入和输出数据，可得相应集合42构造预报误差方程：因此，预报误差方程中的43可见，预报误差方程代表一大类含噪声的线性动态系统。假设：44噪声的条件期望取性能指标为(残差平方和的均值)4546下面给出简要证明。由预报误差模型，预报误差：由预报误差方程知：因而预报误差47式中48(噪声方差)04950于是有从而证明了预报误差估计和正态条件下的极大似然估计具有一致性，都是真实参数的一致估计。51§4-4预报误差参数辨识法极大似然法

6、要求已知数据的概率分布，通常都假设数据服从正态(高斯)分布。然而，实际问题中的数据不一定都是正态分布的。当数据的概率分布不知道时，无法应用极大似然估计。预报误差参数辨识法不要求数据概率分布先验知识，是一种更加一般的参数辨识方法，也是极大似然估计的一种推广。业已证明，当数据的概率服从正态分布时，预报误差估计法等价于极大似然法（Goodwin澳大利亚教授,1977）.52一、预报误差准则⒈预报误差模型53则预报误差模型：预报误差模型表明：k时刻的输出，可以用k时刻以前的数据来“预报”。54这种预报，可使预报误

7、差范数平方的条件期望最小，即显然，这种“最好”的输出预报，应是“最好”模型的输出。由最优控制理论知，“最好”输出预报，应是使某一个预报误差准则(即性能指标)为极小而获得。55⒉预报误差准则常用的误差准则有如下两种：56而在多入-多出情况下57二、预报误差法与极大似然法之间的关系⒈预报误差模型的似然函数应用Bayes公式，得条件概率密度函数58由预报误差模型59必有故60幅值相乘相角相加61⒉预报误差协方差已知时的似然函数由似然函数62根据矩阵迹的运算性质：故已令有(样本协方差)63表明：64⒊预报误差协方

8、差未知时的似然函数取负对数似然函数，有根据矩阵迹的微分运算法则：6566以代替，负对数似然函数为67：当为正态分布不相关随机向量时，等价于取极小，又等价于第2种预报误差准则取极小。在这种意义下，极大似然法与预报误差法也是等价的。结论预报误差法与极大似然法等价。或者说，极大似然法是预报误差法的特例。在上式中,右端各项为正,必有：等价于.由于似然函数取极大,68三、预报误差参数估计方法(Newton-Raphson法)⒈预报误差参