主题网络爬虫的研究与实现毕业论文

《主题网络爬虫的研究与实现毕业论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、本科毕业论文主题网络爬虫的设计与实现Designandimplementationofsubject-orientedcrawler毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作者签名：　　　　　日　期：　　　　　指导教师签名：　　　　　日　　

2、期：　　　　　使用授权说明本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名：　　　　　日　期：　　　　　IV摘　要目前信息网上蕴含了大量的信息，但通过人工浏览的方法很难做到对信息的安全浏览、整理，很多有用的信息也就白白流失，产生了大量信息不能及时应用的矛盾，给用户造成了很大的不便，为了解决这一问题，搜索引擎这一新

3、热点技术应运而生，本文结合信息网的特征，运用信息抽取和网页解析技术，设计和实现了搜索引擎中最重要的部分——网络爬虫，以提供分类更细致精确、数据更全面深入、更新更及时的因特网搜索服务。本文首先对概述了网络爬虫的发展概况，然后分析了网络爬虫的体系结构以及实现原理，并深入分析了主题页面在Web上的分布特征与主题相关性的判别算法，具体工作如下：(1)爬虫部分，通过设计种子网站进行爬虫，下载尽可能全且与用户要求相符合的网站。(2)网页预处理过程，包括分词、HTML解析和网页消噪。在对树节点进行裁剪的基础上，设计了基于样式的网页消噪方法，进一步提高网页消噪过程。(3)主题相关性判断，包括特征提取和权值计

4、算阶段。在特征提取阶段，通过组合文档频率，得到新的特征，达到降维和提高分类精度的效果。在权值计算阶段，结合信息增益、传统TFIDF算法和空间向量模型VSM算法，得到了更适合主题相关性判断的权值计算方法。(4)最后，在MYECLIPSE平台上，实现了一个简易的网络爬虫系统，并简要分析了爬虫的运行效果，达到了令人满意的效果。关键词：网页解析；TFIDF算法；VSM算法IVAbstractCurrentlythereislotofinformationinthepublicsecurityinformationwebsite,butitisnotpossibletovisitandcleanupa

5、llinformationonlythroughartificalmanner,somuchimportinformationwouldbelost,alsowouldgoaginstcrackingacriminalcase,whichcausesagreatdealofinconveniencetousers.Todealwiththisproblem,searchenginetechnologycameintobeingthenewhotspot.Basedonthecharacteristicsofinformationnetworks,thepaperdesignedandimpl

6、ementedthemostimportantpartofsearchengine—WebSpider，usinginformationextractionandwebanalytictechnologytoprovidemoredetailedclassificationaccuracy,dataismorecomprehensiveandin-depth,moretimelyupdatesofInternetsearchservices.Thispaperfirstoutlinedthedevelopmentofsearchenginesandreptileresearchnetwork

7、statusandthenanalyzedthearchitectureoftopicsearchengineanddepthlyanalysdthethemeofthepageintheWebonthedistributionofsubjectcharacteristicsandtheidentificationalgorithm.Inthispaper,theconcreteworkasfollows:(