最小平方误差准则函数.ppt

《最小平方误差准则函数.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、最小平方误差准则函数（MSE,MinimumSquared-Error）准备知识模式识别：是指利用计算机自动地或有少量人为干预的方法把待识别模式加以分类，即划分到模式类中去。统计模式识别方法：又称决策论方法，采用特征向量表示模式。以样本在特征空间中的具体数值为基础。线性判别函数是在特征提取完成之后，在特征空间对模式进行分类的方法之一。它既是统计模式识别中的一个重要的基本方法，也是研究统计模式识别方法的基础。如何得到线性判别函数？对一个判别函数来说，应该被确定的有两个内容：其一为方程的形式，其二为方程

2、所带的系数。对于线性判别函数来说，方程的形式为线性的，方程的维数为特征向量的维数，方程组的数量决定于待判别对象的类数。i=1,2,......,C这里Y称为增广特征向量（n+1维），A称为广义权向量，如此则有：最小平方误差准则函数背景既然方程组的数量、维数和形式已定，则判别函数的设计就是确定函数的各系数，也就是线性方程的各权值。感知准则函数、梯度下降法、固定增量算法、最小平方误差准则函数等都是求取线性方程的各权值的方法。但是无论感知准则函数和梯度下降法，还是固定增量算法，都只适用于线性可分情况。但实际

3、中往往无法确定样本集是否线性可分。因此希望找到一种方法能够对两种情况都适用。既对线性可分问题可以找到将全部样本正确分类的解权向量，又对线性不可分问题能够找到一个使误差平方和极小的解权向量。满足这样要求的准则函数就是最小平方误差准则函数。平方误差准则函数及其伪逆解对于一个具有n个学习样本的两类问题，希望找到一个权向量A，使得，i=1,2,......,n得到满足，将上述不等式改成等式的形式i=1,2,......,n其中bi是任意给定的正常数，将上式写为联立方程组的形式即为：其系数矩阵Y及常向量B为其中

4、是d维规范化增广样本向量，Y为矩阵，n为样本个数，d为特征数。假如Y是非奇异矩阵，则我们可以得到解但在大多数情况下样本数n总是大于维数d，方程个数多于未知数，这是一个矛盾方程组，通常没有精确解存在。但我们可以定义一个误差向量并定义平方误差准则函数然后找一个使极小化的A作为问题的解，这就是矛盾方程组的最小二乘近似解，也称为伪逆解或MSE解，称为MSE准则函数。用解析法求伪逆解准则函数对A求导得:令取极小，得这里。我们将解的问题转化为的问题。这里是一个方阵，一般是非奇异的，故可以有唯一解此处称为Y的伪逆，

5、A为MSE解。MSE解具有的优越特性由MSE的解可知，解A依赖于向量B的值，可以证明，若，选取，反之在线性可分情况下，MSE解与Fisher线性判别函数等价。若选取全部当，MSE解与贝叶斯决策解之间的均方误差达到极小，即MSE解得到的判别函数以最小均方误差逼近贝叶斯判别函数。因此MSE解通常具有比较优越的性能（这里的n为总的样本数，n1是属于w1类的样本数，n2是属于w2类的样本数）。例：设有两类的二维点：试求伪逆解及判决边界。解：增广规范化样本为取得到解决策边界方程为即如果选择其他的B，自

6、然会得到不同的判决边界。MSE准则函数的梯度下降算法前面得到的MSE解需要求伪逆，而带来的问题有两个：其一是要求非奇异；其二是求时计算量大，同时还可能引入较大的计算误差。因此实际上往往不用这样的解析法求MSE解。而是采用如梯度下降法等最优化技术来求解。如果我们采用梯度下降法，由前面的计算可知的梯度是代价函数是一个以未知权值（参数）向量为自变量的连续可微函数，作为一种度量，我们希望找到一个最优解满足条件即选择适当的权值向量最小化代价函数，这是一个无约束的最优化问题。梯度下降法是以迭代下降思想为基础的无约

7、束最优化方法。他以一个初始值开始，产生一系列权值向量，……使得代价函数在算法的每次迭代中要有下降，即式中是权值向量的旧值，是他的更新值。在梯度下降法中，对权值向量的连续调整是在梯度下降的方向进行的，也就是与的方向相反，为了表示方便，定义因此，梯度下降法一般表示为式中，是一个正常数，称为步长或学习率参数，是代价函数在的梯度向量值。则梯度下降算法可写成任意可以证明，如果选择为任意正常数则用此迭代公式得到的权向量序列收敛于使的权向量A，也就是MSE解。无论奇异与否，该算法总能产生一个有用的权向量，而且计算量

8、比解析法要少很多。Widrow-Hoff算法为了进一步减小计算量和存储量，我们可以把样本看成一个无限重复出现的序列而逐个加以考虑，这样梯度下降算法可修改为任意其中为使的样本。由于是任意给定的正常数，要使一般不可能，因而修正过程永远不会终止，所以必须使随k增大而逐渐减小，以保证收敛。若取则上式算法必收敛于满意的解A。该算法是对MSE准则采用梯度下降法的一个修正算法，通常称为Widrow-Hoff算法。谢谢