基于ssh和lucene垂直搜索引擎研究

《基于ssh和lucene垂直搜索引擎研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代号：10536学号：密级：公开长沙理工大学硕士学位论文基于SSH和Lucene垂直搜索引擎研究学位申请人姓名墅金红导师姓名及职称使明熬援培养专业单位名称长沙理工大学计算机应用技术论文答辩日期2011．04．23Research0ProfessorFuMingMarch，2011长沙理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在

2、文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。．作者签名：曙寡红}日期：纠f年才月；矿日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权长沙理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研究所将本论文收录到《中国学位论文全文数据库》，并通过网络向社会公众提供信息服务。本学位论文属于1、保密

3、口，在年解密后适用本授权书。2、不保密团。(请在以上相应方框内打“4’’)作者繇罗会红日期．洲1年嗍；夕日导师签名：日期：／,-f7年寸月≥。Et摘要随着互联网的发展，现在中国网民居世界首位。网络上信息量的剧增使得通用搜索引擎显得有点力不从心，垂直搜索引擎的出现，就是为了解决这类问题。开源垂直搜索引擎中Lucene的分词模块使用简单分词机制，存在分词精度不高的缺点。因此本文引入了一种基于位图数据结构与条件随机场模型的中文分词词典机制，在一定程度上提高了分词的精度，降低了词典机制的空间复杂度。实验表明：分词词典所占用的内

4、存减少的同时，垂直搜索精度有一定的提高。具体工作如下：(1)论述了垂直搜索引擎的研究价值跟背景，并且深入分析了垂直搜索引擎的两大核心技术：中文分词技术，以及Lucene排序技术。(2)主要对Lucene源码包进行了必要的学习与研究，分析其中两种中文分词算法，双字切分算法和正向最大匹配算法，但是存在分词精度不高的缺点，因而可以改进既有的Lucene分词包来提高中文分词的精度，并将它应用于垂直搜索引擎当中。(3)设计了一个垂直搜索引擎系统，使用了一些开源的框架：Spring、Struts2和Hibernate。整个系统包括

5、了网页抓取模块、蜘蛛模块、信息提取模块、以及索引与检索模块。采用HtmlParser提取网页信息，引入了改进的基于位图与条件随机场中文分词模块来对中文进行分词，提高了中文分词的精度。关键词：垂直搜索引擎；中文分词；条件随机场；Lucene；$SHABSTRACTTheInternetdeveloprapidlyandOurChinaInternetusersnowranksfirstintheword．SoNotonlytheimformationoftheintemetisexplosive，Generalsearc

6、hengineseemedabitinadequate，buttheemergenceofverticalsearchenginesistosolvesuchproblems．LuceneisopensourceandTheSegmentationmechanismofLuceneisSOsimpleandthereisahignprecisionsementationdefects．SothispaperintroducesaimprovedChineseworddictionarymechanismthatcont

7、ainbitmapdatastructurebasedonconditionalrandomfieldmodel．Tosomeextent，theaccuracyofsegmentationimprovedandthespacecomplexityofthemechanismDictionaryreduced．Theexperimentsshowthat：thememoryofOursegmentationmechanismisreducedandtheverticalsearchaccuracyisimproveda

8、ndmainworksiSasfollows：(1)Thispaperdiscussestheresearchvalueofverticalsearchengineaboutthebackgroundandanalyseitscoretechnologies：Chinesesegmentation,Lucenepagerankte