基于knn算法文本分类系统设计和实现

《基于knn算法文本分类系统设计和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreefortheMasterofEngineeringDesignandImplementationofaTextClassificationSystemBasedonKNNAlgorithmCandidate:ZhangFeiMajor:SoftwareEngineeringSupervisor:Assoc.Prof.XueZhidongHuazhongUniversityofScienceandTechnologyWuhan4300

2、74,P.R.ChinaDecember,2011独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的

3、全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要自1995年以来，Web技术进入了快速发展的阶段，表现为Internet上的Web页面数量与服务站点数量呈指数级增长。2004年后，Internet上的PIW（pubulicindexable10Web）页面数目达到了10数量级，而且已每天新增800万新页面的速度。同时，Web服务器的数量23周即可增长一倍。

4、Web已成为一个开放性、动态的、全球性信息服务中心，以及当前人们获取信息的重要手段。如何从大量的Web信息中提取出人们感兴趣的信息和有价值的信息是现代信息研究的重要课题。针对Web文本挖掘的特殊性，设计并实现了一个文本分类系统。使用该系统的主要目的是实验和发现Web文本分类相关算法的性能和准确率。系统主要包括训练和分类两大模块。训练模块有：（1）中文文本预处理，系统采用中科院计算所汉语词法分析工具包ICTCLAS，实现了对文本的分词和预处理功能；（2）特征选择，实现了文档频度DF、卡方特征词选择、信息增益（IG）、互信息法等四种特征选择算法；（3）权重计算，实

5、现了TF、TF*特征评估函数值等权重算法，建立VSM模型；（4）分类器构造，实现了K近邻基于统计方法的文本分类算法，分类模块还包括对分类结果进行评价，并将评价结果反馈给训练模块，从而不断改进训练过程。为了评测已实现的KNN分类系统的分类精度，采用了因特网上由搜狐新闻内容组成的小型语料库进行训练和分类测试。该语料库包括教育，体育，环境，娱乐，科技，经济6个类别，共780个文本。同时对改进后的算法进行实验并比较分析。实验数据可用于信息检索、信息过滤、数字图书馆和网页分类等做参考。关键词：数据挖掘文本分类KNN文本挖掘I华中科技大学硕士学位论文AbstractSin

6、ce1995,Webtechnologyhasenteredastageofrapiddevelopment.TheInternetWebpagenumberandservicesitenumberincreaseexponentially.In2004,InternetPIW10（publiclyindexableWeb）pagenumberbyanorderof10magnitude,butalsohasdailyadded8millionnewpagespeed.Atthesametime,thenumberofWebservercanbedoubled

7、in23weeks.Webhasbecomeanopen,dynamic,globalinformationservicecenter,andanimportantmeansofobtaininginformation.HowtoextractinformationfromalargenumberofWebinformationthatpeopleinterestedinisanimportantsubjectinthestudyofmoderninformation.AimingattheparticularityofWebtextmining,atextc

8、ategorizationsystem