模式识别 实验二.doc

《模式识别 实验二.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、实验二用身高和/或体重数据进行性别分类姓名：学号：班级：姓名：学号：班级：一、实验目的和要求（一）加深对非参数估计的认识，和对它与参数估计在适用情况、估计结果方面的异同的理解。（二）掌握直接设计线性分类器的方法，并与基于概率密度估计的贝叶斯分类器进行比较。（三）掌握留一法估计错误率的方法。二、实验内容（一）在第一次实验中，挑选一次用身高(身高与体重)作为特征，并且先验概率分别为男生0.5，女生0.5的情况。改用Parzen窗法或者kn近邻法估计概率密度函数，得出贝叶斯分类器，对测试样本进行测试，比较与参数估计(最大似然

2、法)基础上得到的分类器和分类性能的差别。（二）同时采用身高和体重数据作为特征，用Fisher线性判别方法求分类器，将该分类器应用到训练和测试样本，考察训练和测试错误情况。将训练样本和求得的决策边界画到图上，同时把以往用Bayes方法求得的分类器也画到图上，比较结果的异同。（三）选择上述Bayes分类器和Fisher分类器，用留一法在训练集上估计错误率，与在测试集上得到的错误率进行比较。三、原理简述及程序框图（一）挑选身高(身高与体重)为特征，选择先验概率为男生0.5女生0.5的一组1.用Parzen窗法来求概率密度函数

3、，再用贝叶斯分类器进行分类。Parzen窗法，窗函数为，我们选用正态函数窗，窗宽为（h是调节的参量，N是样本个数），（d表示维度）。因为区域是一维的，所以体积为。Parzen公式为。因此，女生的条件概率密度为男生的条件概率密度为根据贝叶斯决策规则知：如果，则，否则，。2.流程图如下：选择窗函数及窗宽求出样本类别为男或女的类条件概率密度得出决策规则并对测试样本进行判别确定特征及先验概率（二）要求是同时采用身高和体重数据作为特征，用Fisher线性判别方法求分类器，将该分类器应用到训练和测试样本，考察训练和测试错误情况。将

4、训练样本和求得的决策边界画到图上，同时把以往用Bayes方法求得的分类器也画到图上，比较结果的异同。1.取男生和女生的先验概率分别为0.5,0.5。在设计贝叶斯分类器时，首先求各类样本均值向量，然后求各个样本的类内离散度矩阵，再求出样本的总类内离散矩阵，根据公式求出把二维X空间投影到一维Y空间的最好的投影方向。再求出一维Y空间中各类样本均值，其中。再根据决策规则，当时，，当时，，这样就可判断出x属于什么类别了。本次实验为二维，所以分界阈值我们用如下方法得到：。2.将测试样本中的值代入，求出一维空间投影y，并将其与分界阈

5、值来进行比较来分类。3.根据课本对Fisher线性判别法的介绍，得到的算法流程图如下：求各类样本均值向量求类内离散度矩阵用公式求最好的变换向量二维空间向一维y空间投影一维空间样本均值求取阈值决策判断计算各类样本的错误率（三）选择上述或以前实验的任意一种方法，用留一法在训练集上估计错误率，并与在测试集上得到的错误率进行比较。1.用Fisher线性判别法，并用留一法来估计它在训练集上的错误率，并将结果与Fisher线性判别法对测试集进行判别时得到的错误率进行比较。2.具体流程图如下：导入两个训练样本集依次将女生样本集中的每

6、一个样本当做测试集，余下的所有样本做训练集用Fisher法判断被选出来的样本，若判断错误，计数一次将男生按照以上方法再进行判别，计数，得到错误率再将以上方法用以测试集，得到错误率四、实验结果及分析总结问题（一）实验结果及分析以下h为窗宽，若h过大，使估计量变成N个宽度较大且函数值变化缓慢的函数的叠加，从而使它是的一个平均的估计，使估计的分辨率降低；反之，若h很小，趋近于0，则使就成了N个以样本为中心的尖峰函数的叠加，使估计的统计变动很大。因此，h的选取，对估计量有很大影响。经过多次测试，我们表1选择h=4,表2选择h=

7、7.另外，先验概率的改变通过手动输入改变。训练样本为FEMALE.txtMALE.txt，测试样本为test2.txt表1.以身高为特征的各估计方法的判别错误率（h=4）女生先验概率男生先验概率男生错误个数女生错误个数总错误个数男生错误率女生错误率总错误率Parzen窗法0.250.752283016%8.8%10%0.50.53443813.6%8%12.67%0.750.258028232%4%27.33%最大似然Bayes0.250.75206.667%0.50.5279%0.750.256020%训练样本为FE

8、MALE.txtMALE.txt，测试样本为test2.txt、表2.以身高与体重作为特征的各估计方法的判别错误率（h=7）女生先验概率男生先验概率男生错误个数女生错误个数总错误个数男生错误率女生错误率总错误率Parzen窗法估计0.250.757222914%8.8%9.67%0.50.53824015.2%4%13.33%0.