一篇文章透彻解读聚类分析及案例实操.docx

《一篇文章透彻解读聚类分析及案例实操.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、一篇文章透彻解读聚类分析及案例实操【数盟致力于成为最卓越的数据科学社区，聚焦于大数据、分析挖掘、数据可视化领域，业务范围：线下活动、在线课程、猎头服务、项目对接】【限时优惠福利】数据定义未来，2016年5月12日-14日DTCC2016中国数据库技术大会登陆北京！大会云集了国内外数据行业顶尖专家，设定2个主会场，24个分会场，将吸引共3000多名IT人士参会！马上领取数盟专属购票优惠88折上折，猛戳文末“阅读原文”抢先购票！摘要：本文主要是介绍一下SAS的聚类案例，希望大家都动手做一遍，很多问题只有在亲自动手的过程中才会有发现有收获有心得。这里重点拿常见

2、的工具SAS+R语言+Python介绍!1聚类分析介绍1.1基本概念聚类就是一种寻找数据之间一种内在结构的技术。聚类把全体数据实例组织成一些相似组，而这些相似组被称作聚类。处于相同聚类中的数据实例彼此相同，处于不同聚类中的实例彼此不同。聚类技术通常又被称为无监督学习，因为与监督学习不同，在聚类中那些表示数据类别的分类或者分组信息是没有的。通过上述表述，我们可以把聚类定义为将数据集中在某些方面具有相似性的数据成员进行分类组织的过程。因此，聚类就是一些数据实例的集合，这个集合中的元素彼此相似，但是它们都与其他聚类中的元素不同。在聚类的相关文献中，一个数据实例

3、有时又被称为对象，因为现实世界中的一个对象可以用数据实例来描述。同时，它有时也被称作数据点(DataPoint)，因为我们可以用r维空间的一个点来表示数据实例，其中r表示数据的属性个数。下图显示了一个二维数据集聚类过程，从该图中可以清楚地看到数据聚类过程。虽然通过目测可以十分清晰地发现隐藏在二维或者三维的数据集中的聚类，但是随着数据集维数的不断增加，就很难通过目测来观察甚至是不可能。1.2算法概述目前在存在大量的聚类算法，算法的选择取决于数据的类型、聚类的目的和具体应用。大体上，主要的聚类算法分为几大类。聚类算法的目的是将数据对象自动的归入到相应的有意义

4、的聚类中。追求较高的类内相似度和较低的类间相似度是聚类算法的指导原则。一个聚类算法的优劣可以从以下几个方面来衡量：(1)可伸缩性：好的聚类算法可以处理包含大到几百万个对象的数据集;(2)处理不同类型属性的能力：许多算法是针对基于区间的数值属性而设计的，但是有些应用需要针对其它数据类型(如符号类型、二值类型等)进行处理;(3)发现任意形状的聚类：一个聚类可能是任意形状的，聚类算法不能局限于规则形状的聚类;(4)输入参数的最小化：要求用户输入重要的参数不仅加重了用户的负担，也使聚类的质量难以控制;(5)对输入顺序的不敏感：不能因为有不同的数据提交顺序而使聚类

5、的结果不同;(6)高维性：一个数据集可能包含若干维或属性，一个好的聚类算法不能仅局限于处理二维或三维数据，而需要在高维空间中发现有意义的聚类;(7)基于约束的聚类：在实际应用中要考虑很多约束条件，设计能够满足特定约束条件且具有较好聚类质量的算法也是一项重要的任务;(8)可解释性：聚类的结果应该是可理解的、可解释的，以及可用的。1.3聚类应用在商业上，聚类分析被用来发现不同的客户群，并且通过购买模式刻画不同的客户群的特征。聚类分析是细分市场的有效工具，同时也可用于研究消费者行为，寻找新的潜在市场、选择实验的市场，并作为多元分析的预处理。在生物上，聚类分析被

6、用来动植物分类和对基因进行分类，获取对种群固有结构的认识。在地理上，聚类能够帮助在地球中被观察的数据库商趋于的相似性。在保险行业上，聚类分析通过一个高的平均消费来鉴定汽车保险单持有者的分组，同时根据住宅类型，价值，地理位置来鉴定一个城市的房产分组。在因特网应用上，聚类分析被用来在网上进行文档归类来修复信息。在电子商务上，聚类分析在电子商务中网站建设数据挖掘中也是很重要的一个方面，通过分组聚类出具有相似浏览行为的客户，并分析客户的共同特征，可以更好的帮助电子商务的用户了解自己的客户，向客户提供更合适的服务。1kmeans算法2.1基本思想划分聚类算法是根据

7、给定的n个对象或者元组的数据集，构建k个划分聚类的方法。每个划分即为一个聚簇，并且k?n。该方法将数据划分为k个组，每个组至少有一个对象，每个对象必须属于而且只能属于一个组。1该方法的划分采用按照给定的k个划分要求，先给出一个初始的划分，然后用迭代重定位技术，通过对象在划分之间的移动来改进划分。为达到划分的全局最优，划分的聚类可能会穷举所有可能的划分。但在实际操作中，往往采用比较流行的k-means算法或者k-median算法。2.2算法步骤k-means算法最为简单，实现比较容易。每个簇都是使用对象的平均值来表示。步骤一：将所有对象随机分配到k个非空的

8、簇中。步骤二：计算每个簇的平均值，并用该平均值代表相应的值。步骤三：根据每个对象