《模式识别》讲稿.ppt

《《模式识别》讲稿.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、《模式识别》第二章聚类分析余莉22.1聚类的基本概念似圆度2.1.1聚类分析的基本思想ClusteringAnalysis据相似程度分类无监督分类（Unsupervised）32.1聚类的基本概念2.1.2特征量的类型物理量：直接反映特征的实际物理意义如:长度、重量、速度等。处理前需要离散化。次序量：按某种规则确定的只反映特征的次序关系或等级如:产品的等级、病症的级或期。已是离散量。名义量：反映样本的状态特征非数值的，如男性与女性、事物的状态、种类等。需要数值化。这些特征的数值指标既无数量含义，也无次序关系，只是用数

2、字代表各种状态。42.1聚类的基本概念2.1.3方法的有效性(1)特征选取不当或不足使分类无效；(2)特征选取过多可能有害无益，且增加分析负担。x1(a)12213x1x2x2(b)52.1聚类的基本概念(3)特征量纲对聚类结果的影响财富（万）510年龄6030财富（十万）年龄603051062.1.4聚类准则对聚类结果的影响羊,狗,猫,鲨鱼蜥蜴,蛇,麻雀，海鸥,金鱼,青蛙(a)繁衍后代的方式金鱼,鲨鱼羊,狗,猫,蜥蜴,蛇,麻雀，海鸥,青蛙(b)肺的存在金鱼,鲨鱼羊,狗,猫,蜥蜴,蛇,麻雀，海鸥,青蛙(c)生存环

3、境金鱼蜥蜴,蛇,麻雀，海鸥,青蛙(d)繁衍后代的方式和是否存在肺鲨鱼羊,狗,猫,2.1聚类的基本概念2.1.5距离测度对聚类结果的影响2.1聚类的基本概念7数据的粗聚类是两类,细聚类为4类82.2模式相似性测度2.2.1距离测度2.2.2相似测度2.2.3匹配测度92.2.1距离测度(差值测度)Distance(orDissimilarity)Measure设特征矢量和的距离为则一般应满足如下公理(1)(2)(3)(triangularinequality)10（一）距离测度(差值测度)⑴欧氏(Euclidean)距离⑵绝

4、对值距离(街坊距离或Manhattan距离)(3)切氏(Chebyshev)距离11（一）距离测度(差值测度)(4)明氏(Minkowski)距离(5)Cambera距离(Lance距离、Willims距离)该距离能克服量纲的影响，但不能克服分量间的相关性。12（一）距离测度(差值测度)(6)马氏(Mahalanobis)距离其中（协方差矩阵的无偏估计）（均值向量的估计）性质：对一切非奇异线性变换都是不变的。即，具有坐标系比例、旋转、平移不变性，并且从统计意义上尽量去掉了分量间的相关性。13马氏距离具有线性变换不变性证

5、明：设，有非奇异线性变换：则14故15马氏距离的一般定义设、是从期望矢量为、协方差矩阵为的母体G中抽取的两个样本，则它们间的马氏距离定义为当和是分别来自两个数据集中的样本时，设C是它们的互协方差阵，则它们间的马氏距离定义为当、V、C为单位矩阵时，马氏距离欧氏距离。对于正态分布，等概率密度点轨迹是到均值矢量的马氏距离为常数的点所构成的超椭球面。16例2.1求点和至均值点的距离。解：由题设，可得从而马氏距离它们之比达倍。若用欧氏距离，则算得的距离值相同：由分布函数知，A、B两点的概率密度分别为已知一个二维正态母体G的分布

6、为172.2.2相似测度重点考虑两矢量的方向是否相近，而忽略矢量长度。(1)角度相似系数(夹角余弦）矢量之间的相似性可用它们的夹角余弦来度量(2)相关系数数据中心化后的矢量夹角余弦性质：相关系数具有坐标系平移、旋转、比例不变性。18相关系数具有坐标系平移、旋转、比例变换不变性证明：（作业）设，有旋转、平移变换：其中，R是旋转变换矩阵（即正交矩阵），是平移矢量。则有设，有旋转、平移变换：其中，R是旋转变换矩阵（即正交矩阵），是平移矢量。则有19性质：不受量纲变化的影响。(3)指数相关系数这里假设和的维数n相同、概率分布相同

7、。是第i个分量的方差。20（三）匹配测度若特征只有两个状态：0=>有此特征；1=>无此特征。称之为二值特征。对于给定的二值特征矢量x和y中的某两个相对应的分量xi与yj若xi=1,yj=1，则称xi与yj(1-1)匹配；若xi=1,yj=0，则称(1-0)匹配；若xi=0,yj=1，则称(0-1)匹配；若xi=0,yj=0，则称(0-0)匹配。对于二值n维特征矢量可定义如下相似性测度：21（三）匹配测度(1)Tanimoto测度(1-1)匹配的特征数目(0-1)匹配的特征数目(1-0)匹配的特征数目(0-0)匹配的特

8、征数目令注意，这里只考虑（1-1）匹配，而不考虑（0-0）匹配。22（三）匹配测度(2)Rao测度(3)简单匹配系数(4)Dice系数(5)Kulzinsky系数（1-1）匹配特征数目与特征总数之比（1-1）匹配+（0-0）匹配/特征总数只对（1-1）匹配加权（1-1）匹配/（1-0）匹配+（0-1）匹