用于连接强度检索模型索引的重要连接选择研究

《用于连接强度检索模型索引的重要连接选择研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP391．1密级公开重庆邮电大学硕士学位论文论文题目用于连接强度检索模型索引的重要连接选择研究英文题目TheSurveyontheSelectionofImportantLinksfor硕士研究生LinkIndexontheLinkDependencyModel邬勇论文评阅人答辩委员会主席朱庆生教授重庆大学2012年5月独创性声明Iilllll1IIIIIIIIIIIUlY2399873本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获

2、得重庞由E电太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者虢鄂勇签字嘿础年∥月∥日学位论文版权使用授权书本学位论文作者完全了解重庞由＆电太堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权重迭由E电态堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)⋯一虢印勇签字日期：力彩年钐月∥日新獬：嬲签字日期：刎2年∥月＼钐日重庆

3、邮电大学硕士论文摘要全文检索技术不仅可以实现情报检索的绝大部分功能，而且还能直接根据数据资料的内容进行检索。当今以全文检索为核心技术的搜索引擎己成为网络时代的主流技术之一。全文检索的核心技术是将源文档中的所有的基本元素的出现信息记录到索引库中以及采用相关的检索模型对查询与文档集的匹配得分进行相关度排序，返回一个有序的文档子集；主要是在检索效率和检索效果两个方面进行研究。对此，本文结合信息检索开源工具集平台Lemur，研究了基于倒排文件的全文索引技术，通过对索引压缩技术的学习研究，考虑采用性能较好的可变字节编码压缩算法对倒排列表进行编码，以及有效地组织倒排文索引结构中的字

4、典和倒排列表，并研究考虑词语间连接信息的索引技术，进而提高连接依存模型的检索效率；并在信息检索的开源工具平台Lemur上实现考虑词语间连接信息查询的索引。然后研究了考虑词语间重要连接信息的依存模型存在的三个关键问题。对此提出一种好的重要连接选择机制：首先，考虑一种连接信息的索引文件linkIndex来提高依存检索模型的检索效率；然后，假设连接频率的累计分布函数CDF与两个词语间的互信息MI存在某种正比关系，通过在TREC数据集中进行实验验证：最后，通过MI的阈值来筛选得到候选的连接信息，并用于依存模型中，采用检索效果最好的MI阈值来获取文档数据集中的重要连接。通过实验进

5、行论证，所选重要连接用于连接依存检索模型中提高检索模型效果，并且降低其索引LinkIndex的复杂度。关键词：倒排索引；连接索引：重要连接；依存模型AbstractFulltextretrievaltechnologycannotonlyrealizethevastmajorityoffunctionsininformationretrieval．butalsodirectlyaccessthedataofinformationretrieval．Thefulltextretrievalasthecoretechnologyofthesearchenginehasbec

6、omeoneofthemainstreamtechnologiesinnetworkera．Fulltextretrievalisthekeytechnologyofthesourcedocument，andallthebasicelementsoftheemergenceofinformationrecordedintheindexlibrary,andthroughtheretrievalmodelwhichqueryanddocumentsetmatchscoreforrelevanceranking，returnorderedsubsetofdocuments．

7、ThemainresearchiStwoaspectsthatretrievalefficiencyandretrievaleffectiveness．Therefore，thispaperstudytheindextechniquebasedontheinvertedindex，bycombiningwithinformationretrievalopensourcetoolkitplatformLemur．Thenstudyandcomparethecompressiontechnologybasedontheinvertedinde