基于网格的deep web数据集成系统研究

《基于网格的deep web数据集成系统研究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于网格的DeepWeb数据集成系统研究詹青 崔宾阁（山东科技大学信息科学与工程学院，山东青岛266510）    摘 要　随着互联网技术的发展，DeepWeb已成为网络信息资源的主要组成部分，且具有异构、动态、数量大等特点。必须要对DeepWeb数据进行大规模集成才能有效地利用DeepWeb资源。在分析网格计算特点的基础上，提出了基于网格的DeepWeb数据集成系统框架并作了详细的技术分析与研究。系统的特点是充分利用网格高效的分布式处理能力达到为用户有效提供集成的DeepWeb数据资源的目的。   关键词　DeepWeb；网格；OGSA-DAI；

2、数据集成 1　引言   根据用户获取Web信息资源方式的不同，人们把Web分为SurfaceWeb和DeepWeb两类。SurfaceWeb是指能够通过传统搜索引擎索引的以超链接可达的静态页面或资源的集合，DeepWeb是一个与SurfaceWeb相对应的概念，最初由Dr.JillEllsworth于1994年提出，指那些存储在Web数据库中的动态信息资源集合，其内容不能通过传统搜索引擎索引也不能通过超链接访问，只能通过填写表单（Form）提交查询时才会由Web服务器把动态生成的页面返回给访问者。   DeepWeb的规模大约是SurfaceWeb

3、的400~500倍，并且仍在高速增长。据美国伊利诺伊大学计算机科学系BinHe等人2004年7月发表的一份调研报告，全球DeepWeb已有大约30.7万个站点、45万个数据库和125.8万个界面，并且持续快速增长，2000年到2004年期间增长了3~7倍。到2006年初，仅中国的DeepWeb就有约24，000个站点，28，000个后台数据库和74，000个查询接口。DeepWeb已成为网络信息资源的主要组成部分，且具有异构、动态、数量大等特点，以手工的方式难以对其加以有效的利用，必须对DeepWeb数据进行集成即以自动的方式才能完成对DeepWe

4、b信息的有效利用。鉴于DeepWeb的特点设计了一个基于网格的DeepWeb数据集成系统，以便充分利用网格高效的分布式处理能力为用户有效地提供集成的DeepWeb数据资源。2　相关知识与研究背景   网格概念产生于20世纪90年代中期的美国，它借鉴电力网的概念，期望能够像使用电力一样方便地使用分布在网络上的丰富资源，网格的本质特征是分布，与传统分布式计算相比，网格计算最大的特点就是能够在非集中控制的环境中最大程度地实现资源共享，满足用户对高性能计算的要求。网格的发展目标是要将整个互联网整合成为巨大的超级虚拟计算机，对计算资源、存储资源、数据资源、通

5、信资源、软件资源、信息资源等进行全面共享，为用户提供科学计算、数据存储、信息获取、远程控制等各种高性能网络服务，最大限度地提高网络资源利用率。网格作为一种新的计算基础设施，具有分布性、自治性、异构性、动态性等特点。   网格体系结构是关于如何建造网格的技术，它描述了网格系统的基本组件及其功能，以及各个组件之间的相互关系和网格系统的运行机制。网格体系结构经历了一个逐步演进的过程。从最初的五层沙漏结构到后来，在以IBM为代表的工业界的影响下，全球网格论坛GGF于2002年给出的OGSA（OpenGridServicesArchitecture，开放网格

6、服务体系结构），首次在网格体系结构中引入了WebService技术，但OGSA中服务所指的内容相对于五层沙漏结构更加广泛。GGF同时给出了OGSI（OpenGridServicesInfrastructure，开放网格服务基础设施）作为OGSA的实施标准。但OGSI过分强调网格服务和Web服务的差别，将资源状态封装在服务中，导致了网格服务不能与Web服务很好地融合在一起。为了解决OGSI和Web服务的矛盾，Globus联盟、IBM和HP于2004年初共同提出了WSRF（WebServiceResourceFramework，Web服务资源框架），W

7、SRF作为OGSA的另一种实施标准，采用“有状态资源，无状态服务”的定义，将网格服务演变成了Web服务和资源文档两部分，对现有的Web服务具有良好的兼容性。WSRF的出现标志着侧重科学活动的网格计算开始转向面向服务的信息网格。WSRFvl.2规范己于2006年4月3日被批准为OASIS（OrganizationfortheAdvancementofStructuredInformationStandards，结构化信息标准促进组织）标准。   网格中间件向人们提供最基本、最核心的网格计算功能，它是构建网格环境所必需的基础资源和服务。本文的研究应用了

8、两种网格中间件：Globus网格中间件和OGSA-DAI网格中间件。Globus采用模块化设计方式开发了能在各种平台上运行