可爬取ajax数据的搜索引擎爬虫研究与设计

《可爬取ajax数据的搜索引擎爬虫研究与设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号UDC：密级：——编号：——可爬取Ajax数据的搜索引擎爬虫研究与设计AJAXD峨kSEARCHENGINECL黼ERRESEARCHANDDESlGN学位授予单位及代码：篮叠璺工太堂f!Q1鳗)学科专业名称及代码：让翼扭厘崩拉盎(业12业)研究方向：蟹能盐性申请学位级别：砸±指导教师：星太左副教授研究生：L蚩一论文起止时间：2QQ9．!!=2QlQ：12长春理工大学硕士学位论文原创性声明本人郑重声明：所呈交的硕士学位论文．《可爬取Ajax数据的搜索引擎爬虫研究与设计》是本人在指导教师的指导下．独立进行研究工作所取得的成果。赊文中已经注明引用的内容外，本论文不包含任何其他个人或集体

2、已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果山本人承担。作者％盗到一年土月丑F{长春理工大学学位论文版权使用授权书本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版权使用规定”，同意长春理工大学保留并向中国科学信息研究所、中国优秀博硕士学位论文全文数据库和CNKI系列数据库及其它国家有关部门或机构送交学位论文的复印件和电子版．允许论文被查阅和借阅。本人授权长春理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。作者签名导师签名血f

3、L年—∑月—马R立竺掣年王月章日摘要近年来web2．0技术得到了广泛应用，新技术在改善人们浏览网页习惯的同时也给其它相关技术带来了巨大挑战t搜索引擎就是其中之一。面对网页中蕴含的大量动态数据，传统搜索引擎已经无法实现抓取功能，Ajax应用的各种状态和事件可以被用户看到，但无法被搜索引擎抓取。针对搜索El擎所面临的挑战，本文给出了相应的解决方案：分析并建立Ajax应用的状态模型·在此基础之上设计并实现了Ajax爬虫的核心算法，通过建立热点缓存模型实现了算法的优化，根据Ajax动态页面的特点提出了网页权重评定算法AjaxRank．晟后通过实例测试验证了Ajax搜索引擎的检索结果质量，并对搜索

4、引擎的各项性能指标进行了综合评估。本文的重要意义在于，对Ajax动态数据的应用原理进行了深入细致的分析，在此基础之上·设计井实现了可抓取Ajax动态数据的搜索引擎，为动态数据抓取的进一步研究提供了一定意义的理论基础。关键词：Ajax搜索引擎AjaxRank网络爬虫ABSTACTInrecentyears，Web2．0technologyhasbeenwidelyused，newtechnologiestoimprovethebrowsinghabitsofthepeoplebutalsotootherrelatedtechnologiesposesignificantchallenges

5、，thesearchengineisoneofthemFacingpagecontainslotsofdynamicdata,traditionalsearchenginehasbeenunablet。reat醯crawlfunction。VariousstatesandeventsofAjaxapplications，callbeusertosee．butnotbythesearchenginestocrawlForthechallengesfacedbysearchengines，wegivethecorrespondingsolution：Analysisandconstructi

6、ngAjaxapplicationstatemodel．OnthisbasisdesignandimplementthecorealgnrithmonAjaxcrawl．achievedthroughtheestablishmentofhotcachemodeloptimizationalgorithm，basedonthecharacteristicsofAjaxdynamicpagewebweightsproposedalgorithmforevaluatingAjaxRank，Lastthroughthetestofinstanceverifiedthequalityofsearc

7、hresultsofAja)‘searchengine．andestimatedtheperformanceindicatorsofsearchengineTheimportantsignificanceofthisthesisis：AimingatapplicationprincipleofAjaxdynamicdatahaveathoroughanddetailanalysis，onthisbasis．wedesignandim