主题搜索引擎索引技术的研究与实现

《主题搜索引擎索引技术的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分密研究生姓名：唐华姣导师姓名、职称：何友全教授申请学位门类：工学硕士专业名称：计算机应用技术论文答辩日期：2010年12月8日学位授予单位：重庆交通大学答辩委员会主席：何世彪教授评阅人：何世彪教授2010年12月曹建秋副教授l。．．．．．．．．．．．．～——重庆交通大学学位论文原创性声明

2、

3、IIIIJillIIIIIIIIrilll＼1902307本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均

4、已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：虐聋妓日期：劲／牟／z月加日重庆交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权重庆交通大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研究所将本人学位论文收录到《中国学位论文全文数据库》，并进行信息服务(包括但不限于汇编、复制、发行、信息网络传播等)，同时本人保

5、留在其他媒体发表论文的权利。学位论文作者签名：悫拿妖日期：知l口年I乙月M日指导教师签名-伺荫在日期：劢卜年一月加日本人同意将本学位论文提交至中国学术期刊(光盘版)电子杂志社CNKI系列数据库中全文发布，并按《中国优秀博硕士学位论文全文数据库出版章程》规定享受相关权益。学位论文作者签名：南耸＆友同期：功一年l己月U日指导教师签名：佃友佳日期：劢Io年卜月动日I．．．．．．．．．．．．．．．．．．．．．．．．．．．—————．—————．．．．——一——摘要互联网作为信息的载体已经成为人们获取信息不可缺少的工具。互联网的发展给人类带来了巨大的便利，人们可以跨

6、越时间和空间的距离来共享大量信息。但是，随着互联网的迅速发展，网络上的资源日新月异、内容丰富多彩，如何快速有效的找到用户有用的信息成为获取信息技术亟待解决的问题，这时为满足广大群众信息检索需求的通用搜索引擎便应运而生了。通用搜索引擎的产生，极大的提高了人们检索信息的效率，因此，通用搜索引擎得到了广泛的应用。据CNNIC(中国互联网网络信息中心)第二十六次互联网调查显示，搜索以76．3％的绝对优势成为用户从互联网上获得信息的主要方式。在全球绝大多数的调查中，搜索引擎都是互联网上使用程度仅次于电子邮箱的服务。但是随着信息多元化的增长，这些通用搜索引擎在检索某一

7、学科或主题的信息时，无论是检索效率还是检索精度都无法满足人们的需要。这是因为：对于任何用户，只要用户输入的关键词相同，通用搜索引擎反馈的结果就相同，它没有考虑到用户兴趣和需求的差异。但对不同的用户，他们的兴趣和需求往往存在一定的差异。例如，牙医和陶瓷爱好者对于“陶瓷"一词的关注点就会不同。为了能够更加快速、准确、有效的检索某一学科或主题的信息，有必要开发针对特定领域的信息检索系统，即主题搜索引擎。与通用搜索引擎不同，主题搜索引擎只采集web中的部分信息，并对网页进行主题相关度判断，只保存与主题相关的网页，同时还运用专业领域知识、相关度计算、机器学习等智能化

8、策略，以弥补通用搜索引擎搜索结果数量大，相关度较低等缺陷，因此主题搜索引擎在查询的准确率和效率上较通用搜索引擎都有显著的提高。索引技术是搜索引擎的核心技术之一，索引技术的好坏直接影响到搜索引擎的查准率以及对用户的响应速度，因此对搜索引擎索引技术的研究是十分必要的。本文在深入了解搜索引擎相关索引技术的基础上，对开源源代码——Lucene进行剖析与实践，分析了Lucene的系统组织结构、基本数据类型、索引逻辑结构以及索引数据库的文件结构，深刻理解其索引机制、索引权重的控制、索引优化的方法。在此基础上，以计算机主题为例，利用Lucene提供的API接口，对Luc

9、ene源代码进行了如下几个方面的改进：①改进索引词典文件结构。用户利用计算机主题搜索引擎进行查询时，其检索词大部分会是计算机专业词汇，如果像Lucene--样将整个索引词典文件导入内存，无疑会花费更多的检索响应时间，但如果将检索词按计算机专业词汇和非计算机专业词汇进行分类，分别放入两个索引词典文件中，并对它们进行分组排序，检索时只将存放计算机专业词汇的索引词典文件导入内存中，将会减少不必要的检索响应时间。②对待索引文档设置权值。由于Lucene面对的不是某一个学科或主题的信息，因此其文档得分机制缺乏针对性，从而没有对待索引文档设置权值。为了满足计算机主题检

10、索的需要，有必要根据待索引文档的类型和检索的需求对待索引文档设置不