《聚类分析》PPT课件

《《聚类分析》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、医药信息分析与决策第三章聚类分析本章要点一、引言二、聚类标准三、k-means算法四、EM算法五、案例分析2《医学信息分析与决策》课程组*一、引言对某城市年龄范围为25岁～55岁的中青年人群进行调查。调查数据项包括年龄、性别等项。*3《医学信息分析与决策》课程组一、引言*4《医学信息分析与决策》课程组血脂高的都没有冠心病分类1的血脂较高的人多，有冠心心脏病的人多；而分类6的血脂普遍正常，且都没有冠心病。聚类（ClusterAnalysis）是一个将数据集划分为若干组或类的过程。将一组物理的或抽象的对象，根据它们之间的相似程度，分为若干组，其中相似的对象构成一组，这一过程

2、称为聚类过程。*5《医学信息分析与决策》课程组一、引言一、引言对在坐的各位同学进行聚类，你们看看可以分成哪些类？*6《医学信息分析与决策》课程组一、引言从上面的讨论可以发现知道分类的数目后更容易进行划分？不知道分类数怎么办需要确定分类标准？如何把数据输入计算机，如何让计算机进行计算？每个元素是否只能属于某一类软聚类硬聚类*7《医学信息分析与决策》课程组二、聚类标准输入模式可用向量表示，比较不同模式的相似性可转化为比较两个向量的距离，因而可用模式向量间的距离作为聚类判据。传统模式识别中常用到的两种聚类判据是欧式最小距离法和余弦法*8《医学信息分析与决策》课程组二、聚类标准

3、欧氏距离法*9《医学信息分析与决策》课程组X1＝（0,2）X2＝（0,0）二、聚类标准余弦法*10《医学信息分析与决策》课程组X1＝（0,2）X2＝（5,0）三、k-means算法k-means算法以距离值的平均值对聚类成员进行分配，如果一个对象属于一个聚类，则该数据一定比较靠近聚类的中心*11《医学信息分析与决策》课程组三、k-means算法对二维坐标中的5个点｛X1,X2,X3,X4,X5｝作聚类分析。5个二维样本为：X1＝（0,2），X2＝（0,0），X3＝（1.5,0），X4＝（5,0），X5＝（5,2）。假设要求的簇的数量k=2。*12《医学信息分析与决策》课

4、程组三、k-means算法*13《医学信息分析与决策》课程组三、k-means算法*14《医学信息分析与决策》课程组三、k-means算法*15《医学信息分析与决策》课程组三、k-means算法*16《医学信息分析与决策》课程组三、k-means算法k-means聚类被认为是硬聚类，因为每一个对象只能被分配到一个聚类。类与类之间不相互连接，并且也不相互重叠，计算步骤如下：1）选择一个含有随机选择样本的k个簇的初始划分，计算这些簇的质心（簇的平均值）。2）根据欧氏距离把每个样本重新分配到距离它最近的簇质心。3）计算被分配到每个簇的样本的均值向量，作为新的簇的质心。4）重复

5、2,3直到k个簇的质心点不再发生变化或准则函数收敛。*17《医学信息分析与决策》课程组三、k-means算法k-means算法的准则函数通常用平方误差标准准则，其定义如下：*18《医学信息分析与决策》课程组三、k-means算法练习：对二维坐标中的6个点｛X1,X2,X3,X4,X5,X6｝作聚类分析。6个二维样本为：X1＝（0,2），X2＝（0,0），X3＝（1.5,0），X4＝（5,0），X5＝（5,2），X6＝（0,20）。假设要求的簇的数量k=2。*19《医学信息分析与决策》课程组三、k-means算法*20《医学信息分析与决策》课程组三、k-means算法*2

6、1《医学信息分析与决策》课程组这种分法有意义吗?三、k-means算法从前面的例子可以看出主要存在如下两点不足：k-Means方法只有在簇的平均值被定义的情况下才能使用。这可能不适用于某些应用。要求用户必须事先给出k(要生成的簇的数目)可以算是该方法的一个缺点。k-Means方法不适用于发现非凸面形状的簇，而且,它对于“噪声”和孤立点数据是敏感的，少量的该种数据能够对平均值产生极大的影响。*22《医学信息分析与决策》课程组*23《医学信息分析与决策》课程组作业：1.P127,一（3）2.预习EM算法Conclusion*24《医学信息分析与决策》课程组四、EM算法现实世

7、界很多数据是不完整的，即数据存在残缺问题。例如数据集中缺少一些变量，更一般的情况是，任何含有隐含变量(不能直接观察到的变量)的模型都可以被归纳为数据残缺问题。EM(ExpectationMaximization，期望最大化)是K-Means方法的一种扩展。它不把对象分配给一个确定的簇，而是根据对象与簇之间的隶属关系发生的概率来分配对象。EM算法是解决数据残缺问题的一种出色算法。*25《医学信息分析与决策》课程组四、EM算法EM算法基本思想：EM算法不是为每一个维选择一个点，然后计算距离，而是把每一维作为一个钟型曲线，并计算平均值和标准差。