基于java的搜索引擎的设计与实现

《基于java的搜索引擎的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、摘要网络中的资源非常丰富，但是如何有效的搜索信息却是一件困难的事情。建立搜索引擎就是解决这个问题的最好方法。本文首先详细介绍了基于英特网的搜索引擎的系统结构，然后从网络机器人、索引引擎、Web服务器三个方面进行详细的说明。为了更加深刻的理解这种技术，本人还亲自实现了一个自己的搜索引擎——新闻搜索引擎。新闻搜索引擎是从指定的Web页面中按照超连接进行解析、搜索，并把搜索到的每条新闻进行索引后加入数据库。然后通过Web服务器接受客户端请求后从索引数据库中搜索出所匹配的新闻。本人在介绍搜索引擎的章节中除了详细的阐述技术核心外还结合了新闻搜索引擎的实现代码来说明，图文并茂、易于

2、理解。关键词：搜索引擎；网络蜘蛛；搜索策略AbstractTheresourcesintheinternetareabundant,butitisadifficultjobtosearchsomeusefulinformation.Soasearchengineisthebestmethodtosolvethisproblem.Thisarticlefistintroducesthesystemstructureofsearchenginebasedontheinternetindetail,thengivesaminuteexplanationformSpiderse

3、arch,engineandwebserver.Inordertounderstandthetechnologymoredeeply,Ihaveprogrammedanewssearchenginebymyself.Thenewssearchengineisexplainedandsearchedaccordingtohyperlinkfromaappointedwebpage,thenindexeseverysearchedinformationandaddsittotheindexdatabase.Thenafterreceivingthecustomers'req

4、uestsfromthewebserver,itsoonsearchestherightnewsformtheindexengine,Inthechapterofintroducingsearchengine,itisnotonlyelaboratethecoretechnology,butalsocombinewiththemoderncode,picturesincluded,easytounderstand.KeyWords：Searchengine；Webspider；Searchstrategy目录摘要IAbstractII引言11搜索引擎的结构21.1搜索引

5、擎系统概述21.2搜索引擎的构成21.2.1网络蜘蛛21.2.2索引与搜索21.2.3Web服务器31.3搜索引擎的主要指标及分析32网络机器人42.1什么是网络机器人42.2网络机器人的结构分析42.2.2Spider程序结构42.2.3如何构造Spider程序52.2.4如何提高程序性能72.2.5网络机器人的代码分析73基于lucene的索引与搜索、tomcat服务器103.1什么是Lucene全文检索103.2Lucene的原理分析103.2.1客户端设计103.2.2全文检索的实现机制113.2.3Lucene的索引效率113.2.4中文切分词机制133.2.

6、5服务端设计143.3Lucene与Spider的结合153.3.1如何解析HTML163.4基于Tomcat的Web服务器193.5在Tomcat上部署项目194搜索引擎策略214.1简介214.2面向主题的搜索策略214.2.1导向词214.2.2网页评级214.2.3权威网页和中心网页22结论23参考文献24致谢25引言面对浩瀚的网络资源，搜索引擎为所有网上冲浪的用户提供了一个入口，毫不夸张的说，所有的用户都可以从搜索出发到达自己想去的网上任何一个地方。因此它也成为除了电子邮件以外最多人使用的网上服务。搜索引擎技术伴随着WWW的发展是引人注目的。搜索引擎大约经历了

7、三代的更新发展：第一代搜索引擎出现于1994年前后。以Altavista，Yahoo和Infoseek为代表，注重反馈结果的数量，主要特征是“求全”。它主要依靠人工分拣的分类目录搜索，通常由网页制作人自行建立网站名称、网站内容的文字摘要，并将其加入到搜索引擎的资料库中。搜索引擎根据用户键入的信息，根据预先设定的规则进行简单的匹配、排序和显示。这种方法只能进行简单的字符串匹配，无法进行全文搜索。研究表明，搜索引擎性能并没有想象中的那么优秀，在全球11个主要的搜索引擎中，搜索引擎仅能搜索到国际互联网上全部页面的16%，甚至更低，造成这种情况的