基于改进svm的文本混沌性分类优化技术实现

《基于改进svm的文本混沌性分类优化技术实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于改进SVM的文本混沌性分类优化技术实现　　摘要：当前的文本分类方法无法较好地处理海量文本以及文本特征空间数据，不能打破计算机处理性能和内存的约束，实现文本混沌性分类。而云计算平台可向用户提供需要的运算能力和存储空间。提出一种优化SVM的云计算环境下文本混沌性分类方法，设计Hadoop开源云计算系统，通过该系统中的MapReduce模型对分类过程进行处理，提高分类的效率。采用优化SVM分类方法将混沌文本分类二次规划过程中的不等式限制变换成等式限制，提高海量文本混沌性分类精度。实验结果表明，所设计分类方法具有更高的处理效率，可以对海量文本数据进行准确的分类。　　关键词：云计算；

2、文本分类；混沌分类；优化SVM　　中图分类号：TN911?34；TP301文献标识码：A文章编号：1004?373X（2016）20?0039?05　　Abstract：Thecurrenttextcategorizationmethodsareunabletodealwithmassiveamountsoftextandtextfeaturespacedatabetter，andcan'tbreaktheconstraintsofcomputerprocessingperformanceandmemoryandrealizethechaotictextclassificati

3、on.Thecloudcomputingplatformcanprovidethecomputingcapacityandstoragespaceforusers，soanoptimizedSVMbasedtextchaosclassificationmethodeffectiveincloudcomputingenvironmentisputforward.Hadoopopensourcecloudcomputingsystemwasdesigned.8TheclassificationprocessisdealtwithbyMapReducemodelofthesystem

4、toimprovetheclassificationefficiency.TheoptimizedSVMclassificationmethodisusedtoconverttheinequalityconstraintsinthequadraticprogrammingprocessoftextchaoscategorizationintotheequationconstraints，soastoimproveclassificationprecisionofmassivechaotictexts.Theexperimentalresultshowsthattheclassi

5、ficationmethodhashighertreatmentefficiency，andcanclassifythemassivetextdataaccurately.　　Keywords：cloudcomputing；textclassification；chaosclassification；optimizedSVM　　0引言　　随着互联网技术的快速发展，互联网中的文本数量巨增，对这些海量文本进行有效分类，从中采集有价值信息，成为相关人员分析的重点问题[1?3]。当前的文本分类方法无法较好地处理海量文本以及文本特征空间数据，不能打破计算机处理性能和内存的约束、实现文本混

6、沌性分类。而云计算平台可向用户提供需要的运算能力和存储空间。云计算环境下的文本混沌性分类方法成为分析的热点[4?6]。　　传统的文本分类方法存在一定的缺陷，文献[7]提出基于Map8Reduce的分布式潜在语义搜索方法，采用并行化K?means算法将文档矩阵划分成不同分块，再采用潜在语义搜索方法对不同分块进行文本分类，该方法的运算量大，需要消耗大量的资源。文献[8]依据统计模型完成文本分类，但需要假设训练数据和检测数据具有相同的分布规律，但当文本数据量瞬间增加或降低时，会导致分类的文本数据丢失。文献[9]通过聚类采集可信方法以及主动学习塑造分类器的方法，从待分类文本数据汇总过滤

7、可信正例，将剩下的文本当成可信反例，实现文本的有效分类。该方法分类精度高，但容易受到文本混沌性的干扰，存在一定的局限性。文献[10]采用非线性流形学习方法对文本降维，获取文本特征规律，但该方法获取的文本特征单一、扩展性差。　　针对上述方法的弊端，提出一种优化SVM的云计算环境下文本混沌性分类方法，其Hadoop开源云计算系统，通过MapReduce数据处理模型对文本进行分类，采用优化SVM分类方法提高海量文本混沌性分类精度。　　1云计算环境下HDFS的结构分析　　云计算环境下的海量文本在进行