维、哈文不良网页判别方法地地研究

《维、哈文不良网页判别方法地地研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得新疆农业大学或其他教育单位的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：时间：年月日关于学位论文使用授权的说明本人完全了解新疆农业大学有关保留、使用学位论文的规定，即：新疆农业大学有权保留并向国家有关部门或机构送交论文的复印件和电子文档，可以采用影印、缩印或

2、扫描等复制手段保存、汇编学位论文，允许论文被查阅和借阅。本人授权新疆农业大学将学位论文的全部或部分内容编入有关数据库进行检索，可以公布（包括刊登）论文的全部或部分内容。研究生签名：时间：年月日导师签名：时间：年月日本文是新疆维吾尔自治区高技术研究发展项目“维哈文搜索引擎”的部分研究成果（项目编号：201012112）课题主持人：张太红教授（新疆农业大学）维、哈文不良网页判别方法研究摘要随着信息技术的飞速发展，互联网已成为人们快速发布信息和获取信息的重要工具。近年来，维吾尔文、哈萨克文网站数量有了快速增长，具不完全统

3、计，国内维哈文网站目前有两千多个，且在不断增加中。民族语言网站在为广大少数民族用户提供丰富多彩本民族文化信息的同时，部分不法之徒利用互联网传播反动、煽动性言论等不良信息，此类信息严重歪曲我党方针政策，扭曲事实真相，极易引起公众的不理性判断，对社会和谐稳定带来巨大隐患。如何对此类信息进行有效监控、过滤成为政府部门关心的问题，维哈文不良网页识别技术也成为科研单位研究热点。笔者首先设计了维哈文网站识别模型，并利用搜索引擎技术对互联网维哈文网站进行搜寻和数据采集，同时对维哈文不良网页识别模型中涉及的以下技术进行了研究：维哈

4、文网页正文内容抽取方法、维哈文分词技术、特征词提取方法，文本分类算法，分类器性能评价指标。本文在对维哈文不良网页特征分析基础上，利用卡方检验方法对训练集进行特征词抽取。为检测不同文本分类算法对维哈文不良网页识别模型判别性能的影响，笔者分别研究了支持向量机、K临近、朴素贝叶斯等文本分类算法，并根据多元线性回归原理，设计了多元线性回归模型。本文分别对这四类方法进行了测试对比，测试结果表明，当文本采用带权重特征向量表示，且支持向量机采用径向基核函数时，利用该算法设计的维哈文不良网页识别模型识别准确率和召回率能达到95%以

5、上，且识别性能稳定，识别效率也相对较高，在实际应用中，该算法也取得了很好的识别效果。关键词：不良网页识别；特征词提取；多元线性回归；支持向量机；knn；朴素贝叶斯IStudyonUighurandKazakhIllegalWebPageRecognitionMethordAbstractWiththerapiddevelopmentofIT,theInternethasbecomeanimportanttooltorapidlyreleaseandaccessinformation.Inrecentyears,th

6、enumberofUighurandKazakhwebsitehasarapidgrowth,accordingtoincompletestatistics,therearemorethantwothousandUighurandKazakhwebsiteindomestic,anditstillhasatrendofincreasing.Minoritylanguagewebsiteprovideavarietyoftheirethnic’sculturalinformation,but,atthesametim

7、e,somecriminalsusingtheinternettospreadillegalinformationthreatingthesociety’ssecurityandstabilization.Suchinformationseriouslydistortourparty’sprinciplesandpolicies,distortthetruth.Theseinformationcaneasilycausepublic’sirrationaljudgment,andbringhugeriskstoth

8、esocialharmonyandstability.Howtoeffectivelymonitorandfiltersuchillegalinformationhasbecometheconcernofgovernment,andthetechnologyofUighurandKazakhbadwebpagereconnitionhasalsobecome