搜索引擎主要技术

《搜索引擎主要技术》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、搜索引擎主要技术一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。　　1.搜索器　　搜索器的功能是在互联网中漫游，发现和搜集信息。它常常是一个计算机程序，日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死链接和无效链接。目前有两种搜集信息的策略。　　(1)从一个起始URL集合开始，顺着这些URL中的超级链接（Hyperlink），以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL，但常常

2、是一些非常流行、包含很多链接的站点（如Yahoo!）。　　(2)将Web空间按照域名、IP地址或国家域名划分，每个搜索器负责一个子空间的穷尽搜索。　　搜索器搜集的信息类型多种多样，包括html、xml、newsgroup文章、ftp文件、字处理文档和多媒体信息。　　2.索引器　　索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。　　索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关，如作者名、URL、更新时间、编码、长度、链接流行度（linkpopularity）等；内容

3、索引项是用来反映文档内容的，如关键词及其权重、短语、单字等。内容索引项可以分为单索引项和多索引项（或称短语索引项）两种。单索引项对于英文来讲是英语单词，比较容易提取，因为单词之间有天然的分隔符（空格）；对于中文等连续书写的语言，必须进行词语的切分。　　3.检索器　　检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。　　检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。　　4.用户接口　　用户接口的作用是输入用户查询、

4、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。　　用户输入接口可以分为简单接口和复杂接口两种。简单接口只提供用户输入查询串的文本框；复杂接口可以让用户对查询进行限制，如逻辑运算（与、或、非；+、-）、相近关系（相邻、near）、域名范围（如.edu、.com）、出现位置（如标题、内容）、信息时间、长度等。目前一些公司和机构正在考虑制定查询选项的标准。