cpm搜索引擎的设计与实现

《cpm搜索引擎的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、CPM搜索引擎的设计与实现毕业目录摘要2前言41概述51.1搜索引擎的概念51.21些著名的搜索引擎61.2.1Google61.2.2百度71.2.3天网71.3典型搜索引擎工作原理92CPM搜索总体设计102.1基本要求102.2体系结构规划分析112.3各模块设计策略分析112.3.1网页搜集112.3.2预处理132.3.3查询服务142.4体系结构163网页搜集模块的设计与实现183.1超文本传输协议183.2网络蜘蛛原理193.3网络蜘蛛的类结构203.4CSPIDERTHREAD类2

2、13.5网络蜘蛛爬取策略263.6控制对1个站点并发搜索线程的数目263.7数据库设计264预处理模块的设计与实现284.1分析网页284.1.1分析网页内容284.1.2获取网页所有链接URL294.3网页重复搜集的避免304.4网页重要程度确定314.5中文分词314.5.1算法介绍314.5.2正向减字最大匹配法334.5.3分词系统实现355查询服务模块设计与实现405.1查询服务系统结构405.2查询结果显示415.3用户界面415.4针对查询服务对分词系统的改进436结束语44致谢46

3、参考文献47附录481网络蜘蛛程序与数据库接口实现482分词系统对文章处理的函数实现49CPM搜索引擎的设计与实现摘要：本文论述了1个小型搜索引擎（CPM搜索）系统的设计原理、设计思想及具体的实现过程，对在设计过程中涉及到的关键算法作了具体分析和介绍，并对各个模块的架构以及设计思想和设计过程作了详细阐述。该系统主要包括3个模块：网页搜集、预处理和查询服务。网页搜集和预处理模块采用VC++开发，实现了抢先式多线程网络蜘蛛程序和中文分词系统。查询服务模块实现了基于ASP的搜索是个人毕业设计做的1个小型

4、搜索引擎系统，设计的目的就是让它足够小，但是又让它具备完整的搜索服务功能。便于任何1个对搜索引擎感兴趣的人可以利用自己有限的硬件资源（如自己的台式机）搭建，实现小型搜索服务，如校园搜索。关键字：网络蜘蛛；中文分词；网页重要程度；网页索引词；动态库TheDesignAndRealizationofCPMSearchEngineAbstract:Thereisasmallsearchengine(CPMsearch)systemdesignprinciples,designconceptsandcon

5、creterealizationprocessinthediscourse.inthedesignprocessinvolvesaspecificanalysisofthekeyalgorithmsandintroduction,andthestructureanddesignofthevariousmodulesofideasandmadeadetaileddesignprocess.Thesystemconsistsofthreemainmodules:entandqueryservices.

6、CollectionandpretreatmentmoduleusedVC++development,achievingpre-emptanumberofsystems.QueryservicemodulebasedontheASPachievementoftheisasmallsearchenginesearchygraduate-designtime.Theaimofdesignitisenoughsmall,butithasalsointegratedsearchservicefunctio

7、ns.Asearchengineforanyinterestedpersonmaymakeuseofitslimitedhardallsearchservices,suchascampussearch.KeyWords:Netportanceoftheiclinklibraries包括:毕业任务书没有源代码