基于Crawler的Web服务搜索研究.pdf

《基于Crawler的Web服务搜索研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、分类号UDC密级基于Crawler的Web服务搜索研究徐东丽指导教师曹妍职称教授学位授予单位大连海事大学／／牟请学位级别硕士学科与专业管理科学与工程厂论文完成日期2011年5月论文答辩日期2011年6月25日答辩委员会主席稼垫＼、I、e少ResearchonWebServiceDiscoverybasedAthesisSubmittedtoDafianMaritimeUniversityInpartialfuWfllmentoftherequirementsforMasterofEngineerin

2、gbyXuDongfi(ManagementScienceandEngineering)ThesisSupervisor：ProfessorCaoYanMay2011■●■■，，●■l^．．，i'▲。{l‘t▲●^●大连海事大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果，撰写成博／硕士学位论文“基王￡!型!丛的盟盘腿丕建塞研究"。除论文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本论文中不包

3、含任何未加明确注明的其他个人或集体已经公开发表或未公开发表的成果。本声明的法律责任由本人承担。学位论文作者签名：熔盔函学位论文版权使用授权书本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学位论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。同意将本学位论文收录到《中国优秀博硕士学位论文全文数据库

4、》(中国学术期刊(光盘版)电子杂志社)、《中国学位论文全文数据库》(中国科学技术信息研究所)等数据库中，并以电子出版物形式出版发行和提供信息服务。保密的论文在解密后遵守此规定。不保密∥(请在以上方框内打“√")论文作者签名：徐泵丽导师签名：嗜≮日妇：7矿11年6月巧日^一’～。～ijt●^◆√，^^一更I’●▲参I鼻t中文摘要摘要随着Web服务技术的不断发展，企业，组织或个人都可以根据Web服务规范将某个商业应用或实现某个功能的应用程序发布为web服务，并可选择发布方式，规定允许被调用的用户范围等，

5、从而被互联网中的用户发现并使用。但是随着目前几个公用的UDDI注册中心的关闭，最常用的基于UDDI注册中心的Web服务发现方式的弊端越来越明显。用户想要找到提供某个功能的Web服务经常要查找多个UDDI或代理中心，这些UDDI或代理中心通常是提供分类浏览的查找方式，因此查找过程需要花费大量的时间，甚至找不到需要的Web服务，具有较低的查全率。基于通用搜索引擎的web服务搜索虽然查全率高，但是往往搜索到大量无用的信息，查准率比较低。因此Web服务搜索和发现成为Web服务发展的一个瓶颈。本文借助搜索引擎

6、技术在Web资源搜索上强大的优势，设计了一个基于Crawler的Web服务搜索模型，该模型利用专用的网络爬虫来搜索互联网上的w曲服务描述文档(WSDL)，通过筛选，从而提供一个Web服务信息库，供用户进行二次检索和匹配。在设计专用搜索引擎时，首先设计网络爬虫，并对网页抓取和WSDL文档提取过程遇到的关键问题进行分析和设计；其次对Web服务信息库的二次检索和匹配的策略进行分析和设计；最后主要实现专用搜索引擎模块来搜索互联网上的Web服务。通过对搜索引擎中关键问题的分析和设计如基于二叉树存储的URL消重

7、策略的设计，基于十六叉树存储和遍历的DNS缓存策略的设计等提高了网络爬虫抓取网页的速度和效率；通过设计基于网页重要度的信息库更新策略保证了WSDL文档抓取的覆盖率和成功率，通过设计基于WordNet语义网和最小生成树的W曲服务聚类和匹配策略使用户检索Wcb服务时更方便，更准确。通过对模型实现部分的Web服务抓取结果进行分析，表明该模型中设计的专用搜索引擎在搜索Web服务时是有效的，并且具有较高的覆盖率。关键词：Web服务发现；Crawler；WSDL；网页重要度．囊●1．暑●曩’～p’'●英文摘要A

8、BSTRACTWiththecontinuousdevelopmentofwebservices，Enterprise，organizationorindividualcanpublishbusinessapplicationsorapplicationprogramsaswebservicesbasedonwebservicesspecifications，theyalsoCanchoosethepublishway，limittheuserscopeandSOon