基于随机森林算法的作弊网页检测方法研究

《基于随机森林算法的作弊网页检测方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、１０４７７分类号ＮＭＳ．ｌ学校欄密级公开学＾２０１３２１１１０２传接巧Ｈ今记硕ｉ学位论文基子化机森袜义法巧作弁巧页检測方法巧免学位申请人姓名：易乐一申请学位学生类别：全口制巧壬申请学位学科口类：＾申请学位学科专业：索化分析与集成导师姓名、职称：耶长安教换邦华平傅壬？所属院（系、所）：计鼻机与侍息技术学化：２０化３月论文巧交日期：年■■、．．．．、．Ｗ＇？．＾．Ｖ＇；片＇：＇，‘？．＇－．／．１：；‘

2、．一，．，１．．＇’＇■■■＇＇■．Ｖ气Ｖ．：分类号Ｎ９４５．１学巧代码１０４７７密级公开学＾２０１３２１１１０２？信接巧ＩＬ爹冷硕±学位论文Ａ子化和ｉＡ抹其法巧作弁巧巧松測方法研免学位申请人巧名；＾申请学位学生类别：全日制巧壬申请学位学科口类；＾申请学位学科专业：索化分祈与集成壬导师姓名、职称：斯长姿乂援郭华平净所属院（系：计專批与傍惠技术学化、所）论文提交日巧；２０１６年３月Ｔｈｅｒｅｓｅａｒｃｈｏｆｗｅｂａｅ

3、ｓｆｉｌｔｅｒｉｎｇｂａｓｅｄｏｎｒａｎｄｏｍｐｇｆｏｒｅｓｔｓａｌｇｏｒｉｔｈｍｓＡＤｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉ行ｅｄｆｂｒ化ｅＤｅｇｒｅｅｏｆＭａｓｔｅｒＣａｎｄｉｄａｔｅ：ＭａＹｕａｎＳｕｅｒｖｉｓｏｒ：Ｐｒｏｆ．ＷｕＣｈａｎｇＡｎｐＣｏ－Ｓｕｅｒｖｐｉｓｏｒ：ＧｕｏＨｕａＰｉｎｇＳｃｈｏｏｌｏｆｃｏｍｕｔｅｒａｎｄｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｐｇｙＸｉｎａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔＸｉｎａｎＣｈｉｎａｙｇｙ，ｙｇ

4、，独创性声明本人声明，所呈交的论文是本人在导师指导下进巧的研究工作及取得的研究成果。尽我所知，论，除了文中特别加Ｗ标注和致谢的地方外文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得信阳一师范学院或其他教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。签名：晏知曰期：Ｍ《年女月曰学位论文使用授权书、使用学位论文的规定本人完全了解信阳师范学院有关保留，即学＇校有权保留并向国家有关部Ｉ］或机构送交论文的复巧件和电子版，允

5、许论文被查阅和借阅。本人授权信阳师疆学院可Ｗ将本学位论文的全部内容编入有关数据库进行检索、缩巧或其他复制手段保存，可Ｗ采用影印’或汇编本学位论文。同时授权经信阳师范学院认可的国家有关机构或论文数据库使用或收录本学位论文。，并向社会公众提供信息服务（保密的论文在解密后应遵守此规定）：导师：曰期：年研究生（签名）（签名）妹身＾ｋ广柳摘要作弊网页（Ｗｅｂｓａｍ是指那些通过不正当手段获得高搜索引擎排名的页面ｐ）。它利用搜索引擎排名规则设计网页，对网页后台内容进行编码和修改，从而诱导用户使网

6、站达到窃取更大化利润的目的。这种行为导致用户体验大幅下降，浪费捜索引一擎公司大量的计算和存储空间，被公认为是互联网搜索所面临的最大挑战之。有效的反作弊方法研巧是一项重要的研巧课题。本文对作弊网页检测技术进行了探讨和分析，在此基础上将数据预处理融入到随机森林算法中进行了优化研究。本文主要贡献如下：一ＳＭＯＴＥ１．针对作弊网页数据集合中的类不平衡性问题，提出了种改进的算法，简记为ＢＫＭＳＭＯＴＥ算法。不同于传统的ＳＭＯＴＥ算法在构造新样本时，＿存在的数据结构变化现象和数据修正后的正负类边界模糊问题，本文引入

7、聚类算法思想，运用二分Ｋ均值聚类算法对ＳＭＯＴＥ算法存在的问题进行改进。ＢＫＭＳＭＯＴＥ算法的基本思想为通过二分Ｋ均值（ＢｉｓｅｃｔＫ－）＿ｉｎｇＭｅａｎｓ算法对负类样本进行聚类操作并计算簇也，通过在簇也到样本点的连线上进行插值，从而构造。新样本该算法在构造过程中法到对数据分布的描述，从而解决ＳＭＯＴＥ算法的缺陷，实现了即保留原有数据集的结构，又较好地解决作弊网页数据集不平衡的问题，在一定程度上提升了随机森林算法在处理此类惰况的分类效果。２．针对随机森林算法在作弊网页数据集严重失衡的情况下其分类效果不

8、是很理想的问题，本文将ＢＫＭＳＭＯＴＥ算法平衡后的数据集放入随机森林算法中进行＿处理，利用该平衡数据集进行训练和分类并记录分类结果。通过实验分析表明，检＂测系统对作弊网页的检测精度达到８４±０．７５／〇，处理单个网页的平均速度为７０２ｍ