浅谈校园网多数据源信息检索系统的设计与实现

《浅谈校园网多数据源信息检索系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浅谈校园网多数据源信息检索系统的设计与实现论文关键词：信息集成异构数据ODINutchLucene论文摘要：高校校园网信息资源数量巨大，各信息发布系统的相互独立及多种异构数据源的使用对在校园网范围内进行统一的信息检索设置了障碍，系统着重解决由非结构化文本数据和结构化数据库数据形成的多数据源的集成与整合问题，在Nutch搜索引擎基础上利用Lucene接口对多种源数据建立索引，构建多数据源全文信息检索平台从而有效地实现全网信息检索并提高检索速度和精度。引言随着校园信息化进程的不断深入，校园网上信息资源的数量迅速膨胀，各种相互独立的信息发

2、布系统在提高效率的同时，也为校园网范围内统一的信息检索设置了障碍，校园网信息资源主要包括两类数据：一类是非结构化文本数据，以网页文件、文本文件、电子邮件等形式存储在多个信息系统当中：另一类是结构化数据，以数据记录的形式存储在不同的异构数据库之中。由于各独立信息系统间没有相互连接的渠道，快速检索校园网内部信息存在着较大困难。如何设计一个稳定而高效的架构，能够对多种信息数据源进行集成与整合，实现全网范围内全文信息检索成为校园信息化过程中一个重要研究课题。校园网信息检索技术大体可分为三个发展阶段：第一阶段是基于数据库查询方式的结构化数据检

3、索，应用于信息发布系统内部的检索功能，通常是通过匹配标题、作者和摘要等字段来实现信息检索。由于受到数据库性能、检索效率等因素影响，不能实现基于匹配正文内容的全文检索，因此该阶段检索方式从检索范围到检索性能及效果都并不能完全满足现阶段用户的需要：第二阶段是将基于互联网的搜索引擎技术应用于校园网，构建校园网信息检索平台。主要采用开源Lueene提供的全文检索功能和基于Lucene索引管理、存储和检索技术之上的Nutch搜索引擎技术。这两种方式能够实现对非结构化文本数据和结构化数据库数据的检索，应用在网站站内索引、企业内部文档管理及知识管

4、理系统等多方面，对应用系统内部全文信息检索取得了较好的效果，但要实现校园网全网范围内多系统综合信息检索还有待进一步完善与改进：当前校园网信息检索技术已经发展到多系统多数据源信息检索阶段，通过多种方式将各种数据源统一建立索引进行检索，对于非结构化文本的Web页面信息采用网络爬虫方式获取数据，对于结构化文档数据源可通过Lucene接口和Nutch插件机制与第三方类库相结合来进行文档分析处理，对于数据库资源通过Lucene数据库访问接口来获取数据记录并建立索引。目前校园网信息检索平台大多是以检索功能为核心通过上述方式与多数据源集成的辐射状

5、架构，该种架构虽可实现全网多数据源检索，但检索平台与各应用系统耦合度高，系统整体稳定性和可扩展性较差，数据安全和数据质量较低。针对上述问题，本系统将数据采集和数据集成作为平台整体架构的基础，将Oracle数据集成工具0DI用于对多数据源结构化数据的抽取、转换和处理，从而提供一个统一的全局共享数据源，对非结构化文本数据提供对Word、PDF、PPT及XML等多种格式化文档解析的支持、以上述工作为基础，系统将分散分布、非结构化、异构的信息资源统一整合，提供给校园网用户统一的全文信息检索平台。、系统体系结构多数据源校园网信息检索系统分为数

6、据采集层和信息检索层两层体系架构，数据采集层以0racle全局数据库为核心向下通过0DI集成各异构数据库数据，并通过网络爬虫和非结构化文本数据解析来实现多数据源数据采集，向上通过数据库接口为上层应用提供数据：信息检索层采用以Lueene为基础的Nutch搜索引擎实现信息索引和检索系统共包括异构数据库集成、异构文档解析、信息分类模块、信息索引模块、信息检索模块和系统管理模块六部分系统体系结构如图1所示。校园网信息检索技术并不是简单地将开源搜索引擎技术应用于校园网，而是针对校园网内部数据特点设计相应的解决方案。异构数据库集成模块从系统底

7、层做好结构化数据库数据的高效获取和有效组织。校园网内信息发布以Web网站为主要方式，对其进行信息检索一是采用网络爬虫方式进行数据采集：二是通过Lucene数据库接口与各异构数据库相连采集数据，第一种方式虽然操作简单，但在数据采集质量和深度上都有所不足，并没有充分利用校园网信息数据存储的特点：第二种方式虽然在数据来源上有所改进，但在系统的稳定性、耦合程度和可扩展性上都存在不足，从各异构数据库中获取的数据无法进一步加工处理从而导致对上层应用的支持有限。校园网内数据虽然表现为Web网页等非结构化文本形式，但其数据来源大都存储在结构化数据库

8、中。通过获取对各业务异构数据库的查询管理权限，系统将Oracle数据集成工具0DI代替网络爬虫和数据库访问接口，从底层实现对多个异构数据库的统一管理，使系统具有更加稳定和高效的数据来源。异构文档解析模块实现对PDF、Office等文档