基于hadoop和mahout的视频推荐技术研究及应用

《基于hadoop和mahout的视频推荐技术研究及应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、‘１－．？？；！柔為辦妹矣《！泛Ｉ？ＧｕａｎｇＤｏｎｇＰｏｌｙｔｅｃｈｎｉｃＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ硕±学位论文基于Ｈａｄｏｏｐ和Ｍａｈｏｕｔ的视频推荐技术硏究及应用ＲｅｓｅａｒｃｈａｎｄＡｐｌｉｃａｔｉｏｎｏｆＶｉｄｅｏＲｅｃｏｍｍｅｎｄａｔｉｏｎＴｅｃｈｎｏｌｏｐｇｙＢａｓｅｄｏｎＨａｄｏｏａｎｄＭａｈｏｕｔｐ作者钟前建导师姓名职称崔怀林教授学科专业名称系统理论所在学院计算机科学学院学生类别全曰制囚在职□论文提交日期２０１６年０６月

2、？？，？，■－－＊＞－■．．－■．ｒ．一．－—’＇１．．＇＿＇ｆResearchandApplicationofVideoRecommendationTechnologyBasedonHadoopandMahoutByZhongQianjianADissertationSubmittedtoGuangDongPolytechnicNormalUniversityInpartialfulfillmentoftherequirementFortheMasterdegreeJune，20

3、16广东技术师范学院学位论文独创性声明本人郑重声明：所呈交的学位论文，是我本人在导师指导下进行的研究工作及取得的研究成果。论文中除了特别加抖标注和致谢的地方外，不包含任何其他个人或集体已经公开发表或撰写过的研究成果。对本文的研究作出重要贡献的个人和集体，均已在文中作了明确说明并表示谢意。＾切相关责任本人愿意承担因本学位论文引发的。学位论文作者签名：＾＾＾如＇户年（月撕３广东技术师范学院学位论文使用授权声明本学位论文作者及导师完全了解广东技术师范学院有关保留、使用学位论文的规定，目Ｐ：学校有权保

4、留和向有关部口、机构或单位送交论文的复印件和电子版，允许论文被查阀和借阅，可抖采用影印、缩印或扫描等复制手段保存、汇编学位论文。同意广东技术师范学院将本人的学位论文提交清华大学中国学术期刊（化盘版）电子杂志社全文出版和编入ＣＮＫＩ《中国知识资源总库》，传播学位论文的全部或部分内容，并不收取包括文章著作权使用费在内的任何费巧。口公开□保密（年月）（保密的学位论文在解密后适用本授权。＾）学位论文作者签名；导师签名：ｖｔ种询／《日曰如？年／月文年＾月如Ｈ中图分类号TP391学校代码10588UDC004

5、.9密级公开硕士学位论文基于Hadoop和Mahout的视频推荐技术研究及应用ResearchandApplicationofVideoRecommendationTechnologyBasedonHadoopandMahout作者钟前建导师姓名职称崔怀林教授申请学位理学硕士所在学院计算机科学学院学科专业名称系统理论研究方向信息系统工程答辩委员会主席汤庸教授评阅人2016年06月摘要随着信息技术的高速发展，尤其是移动互联网的兴起，网络视频数量剧增，人们对视频个性化的搜索需求在不断增加。如何从浩瀚视频信息中智能搜索用户感兴趣内容，同时挖掘

6、出用户本身潜在的兴趣，减少用户搜索和选择的时间，是计算机领域及社交网络研究的重要课题，由此基于大数据的视频推荐技术应运而生。目前大数据环境下，视频推荐技术的研究取得了一定的进展，但仍处于起步阶段，相关的理论和技术还不够完善，面临着多方面的挑战，主要有以下几点：（1）协同过滤推荐算法在视频推荐中应用最为成功，但其扩展性不佳，用户打分矩阵稀疏和冷启动等问题，导致其推荐效率不高，难以有效地用于大数据的推荐。（2）用户间相似度计算效率较低，当用户打分矩阵极其稀疏时难以计算出用户与用户之间的相似度，容易导致目标用户最近邻难以被找到。（3）在大数据

7、环境下，面临着如何将浩瀚的视频数据经过离线处理，并结合在线推荐以提高处理大数据的能力，保证系统良好的实时推荐性能。鉴于以上问题与挑战，本文尝试提出一些方法对现有推荐算法存在的问题进行改进，并结合大数据处理技术，构建一个基于云计算的视频推荐原型系统。主要工作包括：（1）针对协同过滤推荐算法存在的数据稀疏问题，采用一种聚类的用户搜索方法预先对用户集进行归类处理，然后目标用户在其所属的类簇里进行最近邻查找，极大地缩小了最近邻的搜索范围，有效地缓解了数据稀疏问题。（2）提出一种基于Mahout框架的视频推荐算法CF_PIU，通过结合User-B

8、ased和Item-Based的基本思想，采用一种计算用户之间相似度的新方法，并通过收缩相关系数优化用户之间的相似度。实验表明，CF_PIU算法在视频推荐质量方面优于UserCF等传统视频推荐算法。（3）基