（毕业论文）基于hadoop的电子商务数据存储架构的研究与设计

《（毕业论文）基于hadoop的电子商务数据存储架构的研究与设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、目录摘要IAbstractII1绪论11.1研究背景11.2研究意义及研究内容21.3论文结构22分布式系统关键技术32.1分布式系统模型简介32.1.1Google的GFS32.1.2Apache的Hadoop42.1.3淘宝的TFS42.2分布式系统基本算法52.2.1分布式存储算法52.2.2分布式处理算法82.3本章小结93Hadoop开源云计算系统103.1Hadoop介绍103.2Hadoop关键技术103.2.1MapReduce103.2.2下一代MapReduce:YARN113.2.

2、3HDFS123.2.4Hive133.2.5HBase143.3本章小结154非结构化数据存储方案设计164.1云存储数据中心架构模型164.2存储系统读写流程174.2.1存储系统写流程174.2.2存储系统读流程174.3非结构化数据云存储平台设计184.3.1非结构化数据存储应用实例184.4本章小结235Mahout非结构化系统的设计与实现245.1Mahout分布式系统架构图245.2系统总体实现245.2.1硬件准备245.2.2软件准备255.2.3部署Hadoop集群255.3Maho

3、ut实现电子商务推荐系统325.3.1系统设计325.3.2结果演示325.4本章小结396总结和展望40致谢41参考文献42基于Hadoop的电子商务数据存储架构的研与设计摘要随着电子商务行业的高速发展，在现阶段的电子商务网站中出现了以指数级别形式增长的海量数据，而大多数以非结构化数据为主，由此可见，面对电子商务网站的海量信息，如何高效地存储和管理这些非结构化数据已经成为一个迫切需要解决的问题。面对电子商务网站中巨大的交易量，传统的数据库已经无法满足对海量数据实时统计、查询、分析的要求。为了在电子商务

4、网站海量的商业数据中进行信息挖掘、分析，找到有价值的信息，需要能够处理海量数据的数据库技术。现今电子商务网站数据的重要发展方向是大数据，而大数据的主要实现方式之一就是通过Hadoop技术来实现。所以电子商务数据的处理和Hadoop技术息息相关。本文侧重于基于Hadoop的电子商务数据存储架构的研究与设计，分析MapReduce流程、分布式文件系统HDFS，利用Mahout聚类分类算法等相关技术，结合非结构化数据存储特点，建立具有高效、安全的系统架构，提出非结构化数据存储模型设计，并利用Mahout设计实

5、现简单的电子商务推荐系统。关键词：电子商务非结构化数据HadoopMapReduceMahout41基于Hadoop的电子商务数据存储架构的研与设计AbstractWiththerapiddevelopmentofe-commerceindustry,massiveamountsofdataine-commercesitesgrowexponentiallyintheform,andmostareunstructureddata,wecanseemuchinformatione-commercewebs

6、ites,howefficientstoreandmanageunstructureddatahasbecomeaseriousproblem.Infaceofahugevolumeoftransactions,thetraditionaldatabasehasbeenunabletomeetthehugeamountsofdatainreal-timestatistics,query,analysisofrequirements,inordertomining,analysis,findvaluabl

7、edata.Weneedthedatabasetechnologythatcanhandlemassiveamountsofdata.Todaythemportantdirectionofdevelopmentofe-commercesites’dataisbigdata,andonemainwaytoachievebigdatathatisthroughHadooptechnology.Socloselyrelatedtoe-commercedataandHadooptechnology.Thisar

8、ticlefocusesonthestudyofe-commercedatastoragearchitectureresearchanddesignbasedonHadoop,analysisofMapReduceflow,distributedfilesystemHDFS,useMahoutclusteringclassificationalgorithmsandotherrelatedtechnologies,combinedwithu