基于相关性分组原理的中文文本分类特征选择方法研究

《基于相关性分组原理的中文文本分类特征选择方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：０巧ＵＤＣ：２２４３密级：公开学号：１３１Ｑ９８１￣‘苗．温州大学硕±学位论女基于相关性分组原理的中文文本分类特征选择方法研巧１；－作者姓名；朱文龙、：应用数学学科专业研巧方向；计算机数学与复杂系统控制；叶修梓教授指导教师２０１６年目月完成日期：温州大学学位委员会温州大学学位论文独创性声明工作及本人郑重声明：所呈交的学位论文是我个人在导师指导下进行的巧究取得的研究咸果。尽我所知，除了文中特別加从标娃和致谢的地方

2、外，论文中不包含其他人＆婪发表或撰写过的研究成果，也不包含为获得温州大学或其它教育机构的学位或化书而使用过的材料一同工作的同志对本巧究所做的任何贡。与我献均巴在论文中作了明确的说明并表示了谢意。论文作者签名日期：如日；年至月＞温州大学学位论文使用授权声明目：本人完全了解温州大学关于收集、保存、使用学位论文的规定，Ｐ学校有权保留并向園家有关部口或机构送交论文的复印件和电子版，允许论文被查闽和借陶。本人授权温州大学可将本学位论文的全部或部分内容编入有关数据库进行检索。本人在，可

3、政采用影印、缩印或扫描等复制手段保存和汇编本学位论文导师指导下完成的论文成果，知识产权归属温州大学。保密论文在解密后遵守此规定。论文作者签名：八导师签名：节日期：年Ｉ月日日期：知／＾年＾月＞０日分类号：O29UDC：学号：13109822143密级：公开温州大学硕士学位论文基于相关性分组原理的中文文本分类特征选择方法研究作者姓名：朱文龙学科、专业：应用数学研究方向：计算机数学与复杂系统控制指导教师：叶修梓教授完成日期：2016年5月温州大学学位委员会基于相关性分组原理的中文文本分类特征选择方法研究

4、摘要随着科学技术的迅猛发展，尤其是信息技术的突飞猛进，互联网已经深入到人们的日常生活之中，随之而来的就是信息量的海量增长。人们每天接收、发送的信息中有很大一部分都是以文本的形式存在，因此，如何管理这些海量的文本信息成为了一个不得不面对的问题和挑战。文本自动分类技术能够帮助人们高效、便捷地管理大量的文本信息，在信息检索、信息过滤、搜索引擎、文本数据库、数字化图书馆等领域都有着广泛的应用前景。随着文本分类技术的日益成熟，其应用也越来越广泛，而中文文本分类技术由于具有一定的特殊性，成为了研究的热点。但总体来说，文本分类都

5、要包含文本预处理、特征选择、特征加权、分类算法、分类结果的评价等主要步骤，其中的每个步骤都会影响最终的分类效果。文本预处理的主要作用是将文本转化为计算机能够读取的结构化形式，并对数据进行初步降维；特征选择是主要的数据降维的环节，选出具有代表性的特征子集表示整个数据集，方便后面的处理；特征加权是对特征子集中的每个特征赋予不同的权重。然后选取适当的分类算法，训练分类器，最后对分类器的分类性能进行评估，调整分类器参数，直到分类效果达到评价指标。通过以上步骤，就能得到一个优秀的文本分类器，用来对文本进行自动分类，方便、高效

6、地管理文本信息。I本文的主要贡献总结为以下几点：（1）分析了文本分类的几个主要环节，并讨论了中文文本分类的特殊性。例如，中文文本在预处理的分词阶段需要按照词组甚至短句来分词，这和英文中按照单词之间的空格来分词有很大的区别，大大增加了预处理的困难度，甚至会成为影响中文文本分类最终结果的重要因素。（2）重点研究了文本分类的特征选择环节，分析了传统的特征选择方法以及较为流行的机器学习中的特征选择方法的优点和不足。针对拉普拉斯评分算法忽略特征之间相关性，容易选择重要但是却互相重复的特征这一缺点，本文提出了一种基于特征相关性

7、分组的拉普拉斯特征评分算法，使得算法更加完善。（3）进一步改进了本文提出的特征相关性分组原理，并且在其他特征选择算法上进行了推广，甚至应用于其他图像分类中，发现了对于多数特征选择算法的效果都有明显提升。关键词：文本分类，特征选择，特征相关性，特征分组，拉普拉斯评分IIANIMPROVEDAPPROACHTOFEATURESELECTIONOFCHINESETEXTCATEGORIZATIONBASEDONCORRELATIONGROUPINGPRINCIPLEABSTRACTWiththerapiddevelopm

8、entofscienceandtechnology,especiallytherapiddevelopmentofinformationtechnology,TheInternethaspenetratedintopeople'sdailylives,followedbyamassiveincreaseintheamountofinformation.Peo