基于依存关系的文本特征降维研究

《基于依存关系的文本特征降维研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、10701学号0925121961代号TP391公开分类号密级题（中、英文）目基于依存关系的文本特征降维研究ResearchonTextFeatureReductionBasedonDependencyRelation作者姓名胡涛指导教师姓名、职称刘怀亮教授学科门类管理学学科、专业情报学提交论文日期二○一二年一月西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表

2、或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切的法律责任。本人签名：日期西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，

3、毕业后结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。(保密的论文在解密后遵守此规定)本人签名：日期导师签名：日期摘要摘要随着互联网的不断发展，网络上的信息越来越多。面对海量信息，人们往往很难选择。通过文本分类技术，人们能够有效地组织和管理文本信息，提高学习和工作效率。文本分类中一个重要的步骤就是特征降维。有效的特征降维，不仅可以提升分类算法的运行效率，还能提高分类的准确率。常见的特征降维方法，主要运用了统计的思想。这类方法筛选的特征项存在一定的噪声，而且特征维数较高，没有考虑特征词之间的语义关系。本文是从语义角度去研究特征降维

4、，利用依存关系对句子进行句法分析，选出每个句子的重点词作为特征项，来实现特征降维。这种方法选出的特征词能更好的表示文本。本文首先对文本分类的国内外研究现状进行了介绍，分析了现有特征降维方法的缺点。随后对文本分类的基本概念和知识进行了归纳，阐述了文本分类的特点和应用；分析了文本分类的过程，包括文本预处理、权重计算、文本表示和分类算法。本文对特征降维进行了详细的研究，包括特征选择和特征抽取，并对常用的特征降维方法进行了分析。随后对特征项进行研究，着重对词共现进行分析，并对依存关系进行了研究，分析了依存关系词对的特点。依存关系词对作为特征项含有更多的

5、语义信息，且特征项之间的独立性更强，能更好的表示文本，并在此基础上提出了基于依存关系的特征降维方法。为了验证其效果，将其同文档频率法，互信息法和信息增益法进行文本分类实验对比。实验证明，该方法具有一定可行性，但是还存在一些缺陷。接着对抽取的依存关系词对进行研究，将依存关系词对同传统方法的特征词进行对比。从词性和语义的角度进行分析，针对基于依存关系的降维方法存在的缺陷进行改进，提出了改进的基于依存关系的特征降维方法。改进后的方法既体现了特征项的语义信息，同时减小了特征稀疏性对文本分类影响。实验证明，改进方法的分类性能比改进前的效果好。关键词：文本

6、分类；特征降维；依存关系；语义AbstractAbstractAstheInternetcontinuestogrow,therearemoreandmoreinformationonthenetwork.Tofacethevastamountsofinformation,itisoftendifficulttochoose.Bytextclassification,itisabletoeffectivelyorganizeandmanagetextinformation.Textclassificationcouldimprovetheeff

7、iciencyoflearningandwork.Featuredimensionreductionisanveryimportantstepintextclassification.Themethodsofnormalfeaturedimensionreduction,mainlybasedonstatisticalthinking.Theitems,beselectedbythesemethods,existalotofnoiseandahigherfeaturedimension,withoutconsideringthesemantic

8、relationshipsbetweenwords.Thispaperisfromthesemanticpointofviewforfeaturedi