基于语义的中文文本特征降维方法研究.pdf

《基于语义的中文文本特征降维方法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、代号10701学号0925121962分类TP391.1密级公开号题(中、英文）目基于语义的中文文本特征降维方法研究ResearchonChineseTextFeatureReductionbasedonSemantic作者姓名黄章益指导教师姓名、职称刘怀亮教授学科门类管理学学科、专业情报学提交论文日期二○一一年十二月西安电子科技大学学位论文独创性(或创新性)声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成

2、果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切的法律责任。本人签名：日期西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合学位论文研究课题再攥写的文章

3、一律署名单位为西安电子科技大学。本人签名：日期导师签名：日期摘要摘要随着信息技术的发展，文本信息呈几何级数不断增长，人们已经被淹没在信息海洋中。如何有效的组织、管理和利用这些文本信息，并快速、准确的从信息海洋中寻找到所需要的信息，是当前人们所要面对的一大挑战。文本分类在很大程度上解决了信息杂乱无章的现象。而文本数据的高维性和稀疏性可能导致分类精度的下降，因此特征降维作为文本分类过程中不可或缺的环节，已经成为信息科学领域的研究热点。作为模式识别、数据挖掘等领域中的一项重要预处理步骤，特征降维通过删除无关的冗余、噪声特征，达到降维的目的。然而，由于传统的特征降维技术仅仅

4、考虑词语的统计信息，而忽略词语本身所含的高层语义，所选特征集往往不能从语义层次完整、准确的表达文档的意思。而中文作为一种表意型语言，其句法结构复杂，用词多变，一词多义和多词同义的现象严重，在降维的过程中更要充分的考虑词语的语法、语义信息。本文针对传统降维方法丢弃词语本身语义的缺点，在降维的过程中考虑了语义信息。首先分析了传统特征降维的缺点、中文文本特征降维的必要性及文本分类和特征降维的国内外研究现状；然后提出了一种基于语义的降维思路，通过引入潜在语义索引技术，对原始特征项进行潜在的语义挖掘，随后将特征项投影到低维的语义空间中并计算其语义相似度，应用聚类算法对所有特征

5、项进行聚类融合，达到对特征项进行二次降维的效果。最后，为了验证所提出的语义降维方法的有效性，在基于ICTCLAS和Lucene的基础上搭建了文本分类实验平台，并选2用传统降维方法进行文本分类对比实验。实验表明，本文所提出的基于语义的中文文本特征降维方法在降低特征空间维度的同时，能够挖掘词语间的语义信息，提高降维后特征集合的质量，提升文本表示质量，从而提高分类性能。关键词：潜在语义索引词聚类特征降维中文文本分类基于语义的中文文本特征降维方法研究AbstractAbstractWiththedevelopmentofinformationtechnology,info

6、rmationintextformgrowingexponentiallyresultinthatpeoplehavebeensubmergedintheoceanofinformation.Howtoorganize,manageandusethelotsoftextinformationeffectively,andfindtheinformationtheyneedfromtheoceanofinformationquicklyandaccurately,thatisacurrentgreatchallengepeoplehavetoface.Textclas

7、sificationsolvetheinformationclutterphenomenoninlargepart.Sincethesparseandhigh-dimensionaloftextdatawillreducetheclassificationaccuracy,featurereductionhasbecomeahotsearchfieldofinformationscienceasanindispensablepartintheprocessoftextclassification.Asanimportantpre-processingstepin