推荐系统评价指标综述.ppt

《推荐系统评价指标综述.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、推荐系统评价指标综述汇报人：李烽文献来源：朱郁筱,吕琳媛.推荐系统评价指标综述[J].电子科技大学学报,2012,02:163-175.研究背景3信息过载多种推荐算法孰优孰劣信息过载多种推荐算法孰优孰劣研究背景4Web2.0时代，每个人既是信息接收者，也是信息创造者。信息数量庞大但质量参差不齐，造成信息过载。信息过载多种推荐算法信息过滤，为满足用户需求推荐个性化推荐。协同过滤算法、基于内容的推荐算法、混合推荐算法。。。孰优孰劣如何有效、客观评价推荐系统的效能，从实验室到实际应用的转换。研究背景很多学者对推荐评

2、价指标认识不全面，局限于精确性，忽视多样性、新颖性、覆盖率等指标学术界尚未建立推荐算法评估完整统一的指标群，部分学者写论文时只选择对自己有利的指标对各个指标的优劣和适用性了解较少，在评价指标的选择和结果解释方面存在不足评价方法6在线评价设计在线用户实验，根据用户在线实时反馈或事后问卷调查等结果来衡量推荐系统的表现A/B测试高额成本离线评价根据待评价的推荐系统在实验数据集上的表现来衡量推荐系统的质量方便、经济数据集的划分（常用随机划分）与评价指标的选择评价指标7准确度指标基于排序加权的指标覆盖率多样性和新颖性准

3、确度指标预测评分的准确度预测评分关联分类准确度排序准确度准确度指标预测评分的准确度衡量算法预测的评分与用户实际评分的贴近程度思路：计算预测评分和用户真实评分的差异平均绝对误差（meanabsoluteerror,MAE）定义为：MAE=表示用户u对商品的真实评分；表示用户u对商品的预测评分；表示测试集。局限：对MAE指标贡献大的往往是那种很难预测准确的低分商品预测评分的准确度平均平方误差（meansquarederror,MSE）定义为：MSE=均方根误差（rootmeansquarederror,RMSE）

4、定义为：RMSE=MSE和RMSE指标对每个绝对误差首先做平方运算，所以这两个指标对比较大的绝对误差有了更重的惩罚标准平均绝对误差（normalizedmeanabsoluteerror,NMAE）定义为：NMAE=式中，分别为用户评分区间的最大值和最小值。NMAE在评分区间上做了归一化处理，从而可以在不同数据及集对同一个推荐算法表现进行比较预测评分的准确度预测评分关联衡量算法预测的评分与用户实际评分之间的相关性最常见的三种相关性指标：Pearson积距相关、Spearman相关、Kendall’sTauPe

5、arson积距相关系数衡量的是预测评分和真实评分的线性相关程度，定义为：PCC=分别表示商品的真实评分和预测评分。Spearman关联和Pearson关联定义的形式是一样的，只是考虑的是根据预测评分值得到的排序值，即将上式中的分别替换成商品的真是排名和预测排名预测评分关联Kendall’sTau和Spearman类似，也是刻画两种排序值的统一程度，定义为：=式中，C为正序对的数目；D为逆序对的数目。缺点：对于所有的排名偏差都分配相等的权重，而不管具体的排序值，显然，不同的排名偏差不能同等对待，用户更关心排在前

6、面的推荐商品。预测评分关联当真实排名和预测排名有并列情况出现时，可以用基于Kendall’sTau改进的一个指标来衡量，定义为：式中，表示真实评分相同的商品对数量，表示预测评分相同的商品对数量。弱关系排序问题：在实际系统中可能有某用户对两个或者多个商品评分一致的情况。预测评分关联为了比较两个不同的弱排序序列，文献[36]提出了一种归一化的基于距离的评价指标(normalizeddistance-basedperformancemeasure，NDPM)。它的主要思想是:先统计两个排序相悖的商品对个数以及两个排

7、序兼容的商品对个数。假如用T表示用户实际评分中具有严格偏好差别的商品对个数，则NDMP定义为：NDMP=,NDMP介于0和1之间。NDMP值越小，预测评分关联越大，也即是系统的预测结果越好。排序相悖是指在两个商品中系统预测的是某用户更喜欢商品，然而实际上用户更喜欢是商品;排序兼容指的是系统预测用户对商品同等喜欢，然而实际上用户更喜欢的是商品或者是商品。某用户对商品实际评分为：4.4，3.9,3.8,3.9,1.0推荐系统预测评分为：3.3,3.1,3.0,4.3,3.1那么此时，具有严格偏好差别的商品对有(1

8、,2)、(1,3)、(1,4)、(1,5)、(2,3)、(2,5)、(3,4)、(3,5)、(4,5)排序相悖的商品对：(1,4)、(3,5)排序兼容的商品对：(2,5)得NDMP=(2*2+1)/2*9=0.278预测评分关联NDMP指标不仅适用于弱关系排序问题还可以用来评价推荐算法在不同数据及上的表现。PS：这些预测评分关联额性指标都是只关注于预测排序值而不关注于具体的预测评分值，所以它们不适用