信息检索系统的评价教案资料.ppt

信息检索系统的评价教案资料.ppt

ID:57151256

大小:231.50 KB

页数:30页

时间:2020-08-01

信息检索系统的评价教案资料.ppt_第1页
信息检索系统的评价教案资料.ppt_第2页
信息检索系统的评价教案资料.ppt_第3页
信息检索系统的评价教案资料.ppt_第4页
信息检索系统的评价教案资料.ppt_第5页
资源描述:

《信息检索系统的评价教案资料.ppt》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库

1、提问1试解释信息检索系统的内涵。2什么是”评价”?第十一章信息检索系统评价11.1评价研究概述一、意义评价(Evaluation):发现和收集关于某种活动的数据,从中判断该项活动的质量及达到预期目标程度的行为。简单地说,评价就是对系统的价值和效率进行测评。信息检索系统评价:根据给定的指标体系,采用一定的方法和程序,对信息检索系统的功能、特性和运营状况进行评测,或对有关假设、预期效益、性能值进行验证,以确定系统达到了何种水平、投入成本是否值得、是否可以改进和如何改进,乃至系统是否应生存下去。第十一章信息检索系统评价11.

2、1评价研究概述一、意义信息检索系统的评价研究,一直是信息检索领域的一项重要研究内容。多年来人们进行了大量的评价试验和多角度的探索。原因在于,检索系统评价工作在为研究者验证检索系统效益、比较各种检索技术的优劣、改进现有检索系统、开发新的应用领域等方面,都具有不可替代的作用。第十一章信息检索系统评价11.1评价研究概述一、意义主要意义:了解已有检索系统的功能,找出缺陷并改进;比较各种检索系统的优劣;提高提高效率和效益;有助于新的检索系统的设计;丰富信息检索的理论。第十一章信息检索系统评价11.1评价研究概述二、评价范围与类

3、型信息检索系统是一个有众多功能模块组成的集合体。评价可以从不同角度、基于不同目的和方法来进行。评价范围:各种类型的检索系统及组成要素。评价类型:•宏观评价:着眼于检索系统的宏观方面,如情报源类型、系统结构、收录范围、利用率等。•个别评价:仅对系统的某一性能、功能进行评价。•性能评价(performanceevaluation):面向用户的评价,测定检索系统的质量或服务效果。也称为检索效果评价(effectivenessevaluation)。第十一章信息检索系统评价11.1评价研究概述二、评价范围与类型评价类型:•

4、效益评价(benefitsevaluation):测定系统或用户获得的的经济效益和社会效益。(有直接的、潜在的;难以直接计量)•费用/效果评价(costeffectivenessevaluation):考察系统达到的性能与费用消耗之间的关系。(用户、系统两方面)•费用/效益评价(costbenefitsevaluation):考察系统的服务效益与费用消耗间的关系。(计量难度较大)(详见P207的解释)第十一章信息检索系统评价11.2评价指标一、评价指标体系要评价一个检索系统,必须有一套科学的评价标准。建立检索系统评价指

5、标体系应遵循的原则:各指标应定义单一、明确,具有可操作性。评价指标最好能够量化或计量。指标要完善、细致、全面。下面给出传统检索系统评价指标体系模型:(供参考)第十一章信息检索系统评价11.2评价指标逐一评价这些指标,可以判定检索系统的优劣。其中,比较重要的是检索性能指标。11.2评价指标问题:什么是查全率、查准率?第十一章信息检索系统评价11.2评价指标二、主要性能指标及分析1.查全率和查准率查全率(Recallratio,R):衡量一次检索中与提问相关的文献有多少篇被检出。(衡量检出相关文献的能力)第十一章信息检索系

6、统评价11.2评价指标二、主要性能指标及分析1.查全率和查准率查准率(Precisionratio,P):衡量被检出的文献中有多少篇与提问相关。(衡量检索的精确度)第十一章信息检索系统评价11.2评价指标二、主要性能指标及分析例:设某检索系统的数据库中共有相关文献20篇。针对某一个提问,检出文献总数为30篇,其中相关文献数为15篇。求查全率R、查准率P。第十一章信息检索系统评价11.2评价指标二、主要性能指标及分析为便于分析,我们给出数学语言描述:设某文献库所存储的文献总量为L。对某一给定提问,a—表示被检出的与提问相

7、关的文献数;(前例a=15)b—表示被检出的与提问无关的文献数;(误检,前例b=15)c—表示与提问相关,但未被检出的文献数(漏检,前例c=5)显然,Q=1-R,E=1-p第十一章信息检索系统评价11.2评价指标二、主要性能指标及分析1.查全率和查准率下面讨论与查全率、查准率有关的几个问题。(1)查全率和查准率的相互关系一个理想的检索系统,应是R=1、P=1。但实际上是不可能的。一般说来,二者之间存在着反变关系,即:若要提高查全率,查准率往往就会下降;若要提高查准率,查全率又就会下降。(二者相互制约)第十一章信息检索系

8、统评价11.2评价指标二、主要性能指标及分析(1)查全率和查准率的相互关系R与P的关系可由下图描述:(称为R—P图)第十一章信息检索系统评价11.2评价指标二、主要性能指标及分析1.查全率和查准率(2)影响查全率、查准率的相关因素①文献库编制质量文献收集是否齐全,索引体系是否完善,检索途径的多少,都会影响到查全率。②对情报需求的理

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。