基于hadoop的并行化存储和处理方法及应用研究

《基于hadoop的并行化存储和处理方法及应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：UDC：学校代码：10055密级：公开卷媳犬淫硕士学位论文基于Hadoop的并行化存储和处理方法及应用研究ResearchofparallelstorageandprocessingbasedonHadoop答辩委员会主席鲎这塾握南开大学研究生院二。一三年五月南开大学学位论文使用授权书根据《南开大学关于研究生学位论文收藏和利用管理办法》，我校的博士、硕士学位获得者均须向南开大学提交本人的学位论文纸质本及相应电子版。本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在《著作权法》规定范围

2、内的学位论文使用权，即：(1)学位获得者必须按规定提交学位论文(包括纸质印刷本及电子版)，学校[1_『以采用影印、缩印或其他复制手段保存研究生学位论文，并编入《南开人学博硕士学位论文全文数据库》；(2)为教学利科研目的，学校可以将公开的学位论文作为资料在图节馆等场所提供校内师生阅读，在校园网上提供论文目录检索、文摘以及论文全文浏览、下载等免费信息服务；(3)根据教育部有关规定，南开大学向教育部指定单位提交公开的学位论文；(4)学位论文作者授权学校向中国科技信息研究所及其万方数据电子山版社和中国学术期刊(光盘)电子出版社

3、提交规定范围的学位论文及其电子版并收入相应学位论文数据库，通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。论文电子版提交至校图书馆网站：堕巳；丝Q2：!!呈：至Q：!鳗墨QQ型四Q皇!Zl!璺壑：睦巳。本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答辩；提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。作

4、者暨授权人签字：王渔洼2013年6月5曰南开大学研究生学位论文作者信息论文题目基于Hadoop的并行化存储和处理方法及应用研究姓名于海涛学号2120100416答辩日期2013年5月25El论文类别博士口学历硕土团硕士专业学位口高校教师口同等学力硕士口院}系

5、鬣软件学院专业计算机应用技术联系电话13662148068Emailnk_yuhaitao@163．com通信地址《邮编)：天沣市河东区华光里6-2．302备注：是否批准为非公开论文否注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写(一式两份)签字后

6、交校图书馆，非公开学位论文须附《南开大学研究生申请非公开学位论文审批表》。南开大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、己公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。学位论文作者签名：王堑透2013年6月5曰非公开学位论文标注说明(本页表Lfj填写内容须打印)根据南开大学有关规定，

7、非公开学位论文须经指导教师同意、作者本人申请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本说明为空白。论文题目申请密级口限制(≤2年)口秘密(≤10年)口机密(≤20年)保密期限20年月日至20年月日审批表编号批准日期20年月日南开大学学位评定委员会办公室盖章(有效)注：限制★2年(可少于2年)：秘密★10年(可少于10年)；机密★20年(可少于20年)摘要在软件管理系统中，数据大部分存储在传统的关系型数据库中，但当业务复杂度的提高和数据量的4i断增加，简单的通过单一节点的数据库处理方式已经无法满足

8、用户对于希望快速获取反馈的需求，从而影响系统的工作效率。因此，采用分布式来来存储和处理海量数据为本文的卡要研究课题。本文以《教育部学位与研究生教育评估工作平台》的专家遴选模块的专家4评分环节为研究基础，针对用户需要多次进行遴选才能确定方案，导致随着数据库中专家信息数据的不断增加，在有限的硬件资源下用户需要大量的时间等待结果。其中专家评分环节占据专家遴选大部分时间，因此本文提出了采用Hadoop平台的分布式存储和并行计算功能来提高专家评分环节效率的解决方案。本文的主要研究思路为构建Hadoop平台，将Oracle数据库中

9、的专家信息数据存储到Hadoop的HDFS分布式文件系统中，通过Hadoop提供的MapReduce框架的map和reduce接口，实现分布式专家评分程序，并以专家分数为键对专家记录进行排序和分组。最后，通过Oracle数据库和Hadoop平台下专家评分程序的实验对比，得出随着专家信息数据量的增加，以及现有数据量下随着专家评分规则