第三章_信息检索评价课件.ppt

《第三章_信息检索评价课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章:信息检索系统的评价任飞亮东北大学自然语言处理实验室2010内容提要引言性能评价指标基本评价指标单值评价指标特殊的评价方法其他评价方法国外信息检索评测信息检索评价的研究内容提要引言性能评价指标基本评价指标单值评价指标特殊的评价方法其他评价方法国外信息检索评测信息检索评价的研究评价评价一般是指评估某个系统的性能、某种产品的质量、某项技术的价值，或者是某项政策的效果等等信息检索评价则是指对信息检索系统的性能（主要是其满足用户信息需求的能力）进行评估的活动从信息检索系统诞生以来，对检索系统的评价就一直是推动其研究、开发与应用的一种主要力量信息检索的评价针对一个检索系统，可

2、以从功能和性能两个方面对其进行分析评价功能评价可通过测试系统来判定是否支持某项功能因此相对来说较容易性能评价时间与空间性能相关度排序性能用户真正关心的性能评价信息检索系统的困难相关性不是二值评价，而是一个连续的量即使进行二值评价，很多时候也很难从人的立场上看，相关性具有如下特点：主观的，依赖于特定用户的判断情景相关的，依赖于用户的需求认知的，依赖于人的认知和行为能力时变的，随着时间而变化准备条件：在评价和比较检索系统的检索性能时,需要以下条件:一个文档集合C。系统将从该集合中按照查询要求检出相关文档一组用户查询要求{q1,q2,…,qn}。每个查询要求qi描述了用户的信息

3、需求对应每个用户查询要求的标准相关文档集{R1,R2,…,Rn}。该集合可由人工方式构造一组评价指标。这些指标反映系统的检索性能。通过比较系统实际检出的结果文档集和标准的相关文档集，对它们的相似性进行量化，得到这些指标值内容提要引言性能评价指标基本评价指标单值评价指标特殊的评价方法其他评价方法国外信息检索评测信息检索评价的研究基本评价指标准确率与召回率平均准确率基本评价指标准确率与召回率平均准确率召回率和准确率(查全率和查准率)相关文本检索出的文本全部文本集合检出且相关未检出且相关检出且不相关未检出且不相关检出未检出相关不相关召回率(Recall)=检出的相关文档数/相关

4、文档数准确率(Precision)=检出的相关文档数/检出文档数假设：文本集中所有文献已进行了检查举例ExampleRq={d3,d5,d9,d25,d39,d44,d56,d71,d89,d123}通过某一个检索算法得到的排序结果：1.d1236.d911.d382.d847.d51112.d483.d568.d12913.d2504.d69.d18714.d1135.d810.d2515.d3(准确率,召回率)(100%,10%)(66%,20%)(50%,30%)(40%,40%)(33%,50%)准确率上升的时候,召回率在下降,反之亦然!相关文档集准确

5、率和召回率的关系101准确率召回率返回最相关的文本但是漏掉了很多相关文本理想情况返回了大多数相关文档但是包含很多垃圾11点标准召回率下的准确率曲线11个标准召回率下所对应的准确率:0%,10%,20%,…,100%02040608010020406080100插值法准确率召回率准确率上升的时候,召回率在下降,反之亦然!基本评价指标准确率与召回率平均准确率平均准确率上述准确率召回率的值对应一个查询每个查询对应不同的准确/召回率曲线为了评价某一算法对于所有测试查询的检索性能，对每个召回率水平下的准确率进行平均化处理，公式如下：Nq:使用的查询总数Pi(r):在召回率为r时的第

6、i个查询的准确率多个查询下进行检索算法的比较对多个查询，进行平均，有时该曲线也称为：准确率/召回率的值。如下为两个检索算法在多个查询下的准确率/召回率的值。第一个检索算法在低召回率率下，其准确率较高。另一个检索算法在高召回率下，其准确率较高准确率与召回率评价的适应性这两个指标相互关联，评价不同方面，结合在一起形成单个测度更合适测的是批处理模式下查询集合性能内容提要引言性能评价指标基本评价指标单值评价指标特殊的评价方法其他评价方法国外信息检索评测信息检索评价的研究单值评价方法随着测试集规模的扩大以及人们对评测结果理解的深入，更准确反映系统性能的新评价指标逐渐出现单值评价方法

7、已检出相关文献的平均准确率均值P@10R准确率准确率直方图单值评价方法随着测试集规模的扩大以及人们对评测结果理解的深入，更准确反映系统性能的新评价指标逐渐出现单值评价方法已检出相关文献的平均准确率均值P@10R准确率准确率直方图已检出相关文献的平均准确率均值MeanAveragePrecision,MAP最近几年常用的评价标准单个查询的平均准确率是逐个考察排序中每个新的相关文档,然后对其准确率值进行平均后的平均值;查询集合的平均准确率是每个查询的平均准确率MAP的平均值,MAP的计算公式如下:MAP是反映系统在全部查询上性能的