【硕士论文】垂直搜索引擎关键技术研究及应用.pdf

《【硕士论文】垂直搜索引擎关键技术研究及应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、华北电力大学硕+学位论文摘要摘要本文主要研究了垂直搜索引擎实现的关键技术，从细节上对两个核心模块，即主题爬虫技术和索引技术进行了深入地研究分析。在主题爬虫的设计中，通过结合基于内容和链接分析的主题相关性的搜索策略，利用基于内容的评价提高搜索内容与主题资源的相关度，利用链接结构的评价来提高主题资源的覆盖率，从而有效的提高了爬虫的性能；从索引文件本身的结构出发，采用分级的倒排表索引组织结构，改进了传统倒排表索引器的实现方案，提高了索引创建的效率；最后，结合开源项目NutCh的索引，设计并实现了一个基于数码主题信息的垂直搜索引擎，通过相关的试验，验证了系统可以为用户提

2、供比较完整准确的主题信息查询服务。关键词：主题爬虫，向量空间模型，PageRank算法，倒排表ABSTRACTThethesisstudiedmekeytecllllolo百estothercalizationofVenicalsearch，rese砌锄ldallalysistlle觚ocoremodules，tllememespiders锄dmdcxingt池logy缸忸d“lsin—d印m．hlmedeSi盟ofspid％tll】rougllmemereleV锄ces蚴油s仃a钯gyconlbinedofcontent觚dliIll(觚alysis，andi

3、Ⅱll'foVeⅡl锄e-relatedde孵s廿l】rou曲cont∞t-b嬲edevaluatioIl，mlprovemememereSollrc韶coVerageⅡ10ughmeevmuationofliI】Il【鼬nlc嘶，so舔t0ilnproVepeffomanCcofspidere虢ctiVelK舶ms叽ct哪汜ofⅡ1eindex丘leitSel￡adoptingad嬲sificationinvenedtal)let0i11deXofⅡ圮。玛觚izationals协lc：tu：re，andimprovcttle仃aditionalinlpleme

4、ntationprog阳mofinVeftediIldexingta_ble，inlpr0Vodindex删ede伍CieIlcy；Finally，combineindexingtecllIlolo影of0peIlsourceprojectNlJtch，desi印觚dinlpl锄entofadi百talinformationtll锄e-b弱edVerticalsearchen百ne，throughmereleV觚ttests，Veri匆mesyStemcanpr0VideuserswinlIIlorccompleteandac砚玎．atetlletllemein

5、fomlationinquiringservices．WangYuhui(Computerapplicationtechnology)DirectedbyassociateprofChengXiaorongKEYWoRD：themespider'Vectorspacemodel，PageRankalgorithm，inVertedtable华北电力大学硕+学位论文摘要摘要本文主要研究了垂直搜索引擎实现的关键技术，从细节上对两个核心模块，即主题爬虫技术和索引技术进行了深入地研究分析。在主题爬虫的设计中，通过结合基于内容和链接分析的主题相关性的搜索策略，利用基于内容

6、的评价提高搜索内容与主题资源的相关度，利用链接结构的评价来提高主题资源的覆盖率，从而有效的提高了爬虫的性能；从索引文件本身的结构出发，采用分级的倒排表索引组织结构，改进了传统倒排表索引器的实现方案，提高了索引创建的效率；最后，结合开源项目NutCh的索引，设计并实现了一个基于数码主题信息的垂直搜索引擎，通过相关的试验，验证了系统可以为用户提供比较完整准确的主题信息查询服务。关键词：主题爬虫，向量空间模型，PageRank算法，倒排表ABSTRACTThethesisstudiedmekeytedmolo百estothercalizationofVenicalse

7、arch，rese砌锄ldallalysistlle觚ocoremodules，tllememespiders锄dmdcxingt池logy舶md“lsin—d印m．hlmedeSi盟ofspid％tll】rougllmemereleV锄ces蚴油s仃a钯gyconlbinedofcontent觚dliIll(觚alysis，andiⅡll'foveⅡl锄e-relatedde孵s廿l】rou曲cont∞t-b嬲edevaluatioIl，mlprovemememereSollrc韶coVeragetIloughmeeVmuationofliIll【鼬nlc嘶，

8、so舔t0ilnprov