基于hadoop的电子商务推荐系统的设计与实现

《基于hadoop的电子商务推荐系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、２０１４年１月计算机工程与设计Ｊａｎ．２０１４第３５卷第１期ＣＯＭＰＵＴＥＲＥＮＧＩＮＥＥＲＩＮＧＡＮＤＤＥＳＩＧＮＶｏｌ．３５Ｎｏ．１基于Ｈａｄｏｏｐ的电子商务推荐系统的设计与实现李文海１，２，许舒人１（１．中国科学院软件研究所软件工程技术研究开发中心，北京１００１９０；２．中国科学院研究生院，北京１００１９０）摘要：为了解决大数据应用背景下大型电子商务系统所面临的信息过载问题，研究了基于Ｈａｄｏｏｐ构建分布式电子商务推荐系统的方案。采用基于ＭａｐＲｅｄｕｃｅ模型实现

2、的算法具有较高的伸缩性和性能，能高效地进行离线数据分析。为了克服单一推荐技术的不足，设计了融合多种互补性推荐技术的混合推荐模型。实验结果表明，基于Ｈａｄｏｏｐ平台实现的推荐系统具有较好的伸缩性和性能。关键词：分布式推荐系统；混合推荐；Ｈａｄｏｏｐ；关联规则挖掘；协同过滤中图法分类号：ＴＰ３０１文献标识号：Ａ文章编号：１０００－７０２４（２０１４）０１－０１３０－０７ＤｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｆｏｒＥ－ｃｏｍｍｅｒｃｅｏｎＨａｄｏｏｐ１，２，ＸＵＳｈｕ－ｒｅｎ１ＬＩＷｅｎ－ｈａｉ（１．Ｒｅｓｅａｒｃｈａｎｄ

3、ＤｅｖｅｌｏｐｍｅｎｔＣｅｎｔｅｒｏｆＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｒｉｎｇ，ＩｎｓｔｉｔｕｔｅｏｆＳｏｆｔｗａｒｅ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０，Ｃｈｉｎａ；２．ＧｒａｄｕａｔｅＵｎｉｖｅｒｓｉｔｙ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：ＴｏｓｏｌｖｅｔｈｅｉｎｆｏｒｍａｔｉｏｎｏｖｅｒｌｏａｄｐｒｏｂｌｅｍｏｆｌａｒｇｅｓｃａｌｅＥ－ｃｏｍｍｅｒｃｅｓｙｓｔｅｍｓｉｎｔｈｅｂｉｇｄａｔａｅｒａ，ａｓｏｌｕｔｉｏｎｂａｓｅｄｏｎＨａｄｏｏｐｉｓｐｒｏ

4、ｐｏｓｅｄ，ａｉｍｉｎｇａｔｂｕｉｌｄｉｎｇａｄｉｓｔｒｉｂｕｔｅｄｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍ．ＤａｔａａｎａｌｙｓｉｓａｌｇｏｒｉｔｈｍｓｂａｓｅｄｏｎＭａｐＲｅｄｕｃｅｐｒｏｇｒａｍｍｉｎｇｍｏｄｅｌｈａｖｅｈｉｇｈｓｃａｌａｂｉｌｉｔｙａｎｄｇｏｏｄｐｅｒｆｏｒｍａｎｃｅ．Ｔｏｏｖｅｒｃｏｍｅｔｈｅｌｉｍｉｔｏｆｓｉｎｇｌｅｒｅｃｏｍｍｅｎｄａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ，ａｈｙｂｒｉｄｍｏｄｅｌｉｓａｄｏｐｔｅｄ，ｗｈｉｃｈｃｏｍｂｉｎｅｓｓｅｖｅｒａｌｃｏｍｐｌｅｍｅｎｔａｒｙｍｅｔｈｏｄｓ．Ｅｍｐｉｒｉｃａｌｓｔｕｄｉｅｓｓｈｏｗｔｈａｔｔｈ

5、ｅｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍｏｎＨａｄｏｏｐｈａｓｇｏｏｄｓｃａｌａｂｉｌｉｔｙａｎｄｅｆｆｉｃｉｅｎｃｙ．Ｋｅｙｗｏｒｄｓ：ｄｉｓｔｒｉｂｕｔｅｄｒｅｃｏｍｍｅｎｄａｔｉｏｎｓｙｓｔｅｍ；ｈｙｂｒｉｄ；Ｈａｄｏｏｐ；ａｓｓｏｃｉａｔｉｏｎｍｉｎｉｎｇ；ｃｏｌｌａｂｏｒａｔｉｖｅｆｉｌｔｅｒｉｎｇ被广泛地应用于电子商务和社交网络等典型现代互联０引言网领域。随着用户规模的扩大和业务的发展，大型电子商务系［３］电子商务推荐系统通过模拟智能销售导购的角色，统中的用户数和产品种类越来越多，数据规模正爆炸式地能够为电子商务网站的用户提供产品信息和相关的建议以增长。

6、然而，能够有效利用的展示区域是有限的，大量的帮助用户进行购买决策，完成购物过程。它能促进一对一信息资源由于成为长尾被淹没而得不到展示，信息过载问的销售，可以为电子商务系统提供更加智能化和个性化的［１］题日益突出。购物体验，最终提升用户满意度。电子商务的发展趋势是［２］针对不同的用户提供个性化的购物体验，通过准确地预测推荐系统是一种重要的信息过滤机制，它能有效地解决信息过载问题。通过挖掘用户和信息资源之间的联系用户的偏好、口味和潜在的需求，以此来提高网站的营业规律，它能帮助用户从网络中的大量信息里找到甚至发现额，而这个目标正是通过推荐系统来实现的。他们需要的以及可能会感

7、兴趣的信息资源。它以主动服务对于电子商务系统来说，推荐系统的作用主要体现在［４］：提升购物体验，提高用户的忠诚度；增强的方式，通过利用挖掘和分析技术，实现自动化、智能化以下几方面和个性化的信息过滤服务，帮助用户发现所需。因此，它交叉销售能力，提高整体交易量；挖掘潜在的客户资源，收稿日期：２０１３－０５－０３；修订日期：２０１３－０７－０５基金项目：国家９７３重点基础研究发展计划基金项目（２００９ＣＢ３２０７０４）；国家科技支撑计划基金项目（２０１２ＢＡＨ０５Ｆ０２、２０１２ＢＡＨ０９Ｆ０１）作者简介：李文海（１９８８－），男，江西东乡人，硕士，ＣＣＦ