基于文本信息聚类方法探究

《基于文本信息聚类方法探究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于文本信息聚类方法探究　　摘要：随着信息技术和Web技术的发展，如何从海量的Web文本信息中找到自己所需信息已成为一个重要的研究领域。在众多信息获取方法中，聚类技术是一种被广泛应用的方法。总结了文本聚类算法的研究现状，比较了算法的主要差异和整体思想，并分析了各种方法的优劣，同时指出了文本聚类研究今后的发展趋势，即在粒子群聚类过程中融入其它传统聚类方法的思想，以提高聚类性能。关键词关键词：文本聚类；数据挖掘；粒子群算法；信息检索；自然语言处理中图分类号：TP301文献标识码：A文章编号文章编号：16727800（2013）008004003作者简介作者简介：安靖（1

2、980-），女，中国人寿保险股份有限公司研发中心职员，研究方向为智能信息处理、软件设计。0引言10随着互联网的大规模普及和应用，海量文本信息不断涌现，互联网已成为一个庞大而杂乱无章的信息库。因此，人们迫切需要能够实现自动聚类和分类处理的技术，从而在节省时间的同时，能够更好地检索到自己所需类别的文献。高效的文本检索需要优质的索引和文本概要，文本聚类技术即是解决此问题的一条有效途径。文本聚类过程是指将一个训练文本集合分成若干聚类簇（Cluster），每个聚类簇中的文本之间具有较大的共性，而不同聚类簇的文本具有很小的相似性。与之对应的是，文本分类通常是通过数理统计方法或知

3、识工程来实现的。文本聚类技术在数据挖掘领域研究中有着重要的地位，通常来说，它和文本分类的功能是相辅相成的。聚类技术主要是依据聚类假设原理：同类的对象相似度大，不同类的对象相似度小。文本聚类技术是自然语言处理（NaturalLanguageProcessing，NLP）和信息检索（InformationRetrieval，IR）等研究领域涉及的热门课题，它是一种无监督的机器学习技术，因为聚类不需要提前训练，也不需要事先对文本材料进行人工分类。因此，它具有较高的自动化处理能力和灵活性，从而成为文本信息组织、概要提取以及导航的重要手段，被越来越多的研究者所青睐。10当前，

4、最常用的文本聚类与分析方法包括层次聚类方法、基于模型的聚类方法（如统计学算法和神经网络算法），以及依赖平面划分的聚类方法（如K中心点聚类算法）等，它们已经被广泛地运用于知识管理系统、商业智能系统和CRM系统中。并且，能够能利用这些算法来部分解决智能检索系统存在的所谓“信息过载”的难题，从而过滤掉用户文本信息检索结果中的大量“噪声”，提高检索信息的相关度和准确度。如今，由于大规模、多复杂数据集的出现，大数据的分析和处理对聚类技术提出了更高的要求，主要表现在聚类算法需要具有一定的可伸缩性、能够处理各种类型数据、可以发现任意形状的聚类簇以及能够高速分析高维数据等，并要求用

5、户能够对聚类的结果进行判断、充分理解和使用，传统聚类手段显然已经难以应对这一系列的问题与需求。为解决上述难题，各个领域的研究者们开始尝试研究各种新型的智能聚类技术。其中，属于群智能算法的粒子群优化算法（PSO）逐渐引起了业界的注意，并且一系列实验表明，此方法在聚类分析效果上明显优于传统方法。1基于层次分析的聚类方法所谓层次分析就是对给定的数据集合进行层次上的分离，即分界。在层次法聚类过程中，用树结构表示聚类过程序列。根据层次分界表示方式的不同，层次分析聚类方法又可以分为层次凝聚法和层次分裂法。10层次分析聚类方法具有两大优点：一是聚类的数目不需要在聚类前确定；二是它

6、与初始条件之间是相互独立的关系，不会相互影响。此外，由于它是一种静态的聚类方法，即已经结束的合并或分裂操作不能退回，而且簇之间也不可以交换数据，因此某一步若没有选择好合并或分裂点，则可能会出现劣质的聚类效果。而且，进行合并或者分裂操作通常需要检索估算大量的数据对象或簇，从而令层次分析方法的可伸缩性较差，又或者缺乏全局状态以及簇的规模等信息，导致该方法可能无法对有重叠的簇划分。层次法的代表是Canopy聚类算法。Mcccallum于本世纪初提出了一种技术用来对高维的大数据集进行聚类，即Canopy方法。Canopy算法主要分两步骤完成：首先用代价小而高效的距离测量方式

7、将数据划分成重叠的子集（即canopy簇），然后使用更为精确的聚类方法计算同一子集内的精确距离。这使得大规模数据的聚类问题变得更易于解决和实现。Canopy可在许多领域与大部分聚类方法同时使用，包括GreedyAgglomerativeClustering、KMeans和EM算法等。由于Canopy算法的第一阶段数据量非常大，通常的步骤如下：①首先随机选择一个中心点，并找出这个中心点附近存在的所有数据；②将这些数据和中心点一起构成一个Canopy划分，然后再在剩余的数据点集合中再选一个中心点；③同样地，继续寻找该中心点附近区域的数据点，并构成一个划分。重复步骤①