基于云存储的数据流处理技术的研究

《基于云存储的数据流处理技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号——UDC密级学校代码武膜程歹大穿学位论文10497题目叁主重查堡鲍鏊握速丝墨垫查丝堑塞英文壁旦墨曼型竖垫Q￡旦墅垒墨堑皇型坠￡盟鱼曼墨墨i塾g题目垒箜盟盟堡!巡逝盟研究生姓名吴舰指导教师姓名—』甾＆L职称——耋丝二—一学位———舅兰I_单位名称盐簋垫盘堂鱼垫盔堂瞳邮编堑QQ鱼3：申请学位级别论文提交日期学位授予单答辩委员会硕士2013．5论文答辩日期2013—52013年5月独创性声明本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含

2、其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：灵勘b日期：2．0防os、>1学位论文使用授权书本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理工大学认可的

3、国家有关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息服务。(保密的论文在解密后应遵守此规定)研究生(黼炙饥导师(捌：拱窜删陵皈纠武汉理工大学硕士学位论文摘要自2006年Google提出云计算概念以来，云计算从备受业界质疑的概念炒作成为如今越来越成熟的技术服务形态。在云计算提供的众多服务类型里，存储服务成为我们最为直接使用的一种云计算服务，并发展成为业界独立研究的领域，目前众多的IT巨头都在云存储领域进行布局。云存储是为大数据时代而生的，如何更加高效、快速、安全的进行海量数据的存储、管理和处理，仍然是吸引众多

4、IT人士不断研究的课题。如今，在云存储的后端，Hadoop作为最适合大数据处理的开源技术，正被广泛的研究和使用。但由于Hadoop的兴起时间不长，其还存在着一些设计缺陷，并且由于众多云存储服务提供商会根据服务的类别和数据中心的实际情况，需要对Hadoop进行改进，以便提供更好的服务。本文的研究内容包括云存储中数据流处理关键技术Hadoop，Hadoop是把数据以流的方式来进行处理的。通过对Hadoop平台中核心组件HDFS分布式文件系统的框架和执行流程的研究，针对其单一主控节点NameNode的设计缺陷，提出了一种主控节

5、点压力分解的方法，在可接受的性能损失范围内，减轻了HDFS架构中单一主控节点的访问压力，对系统架构做出了一定的修改，使其在总体上能够承担更多的访问请求，并且降低了单一节点在过量负载时造成的不稳定性甚至是崩溃的风险，使系统的健壮性进一步提高。另外，本文对HDFS的元数据信息进行二次备份设计，进一步提高了系统的可靠性。本文还对Hadoop的另一核心组件Map／Reduce的数据流处理机制进行研究，针对其过于消耗资源的缺点，提出了一种在特定情况下能够有效的降低Map／Reduce的资源消耗的优化方式。本文针对这些特殊情况下，对

6、元数据的数据结构进行改进，使Map／Reduce在进行数据流处理之前能够先从HDFS获得元数据信息，进行数据块的精准定位，过滤掉不必要的数据处理，使HDFS对Map／Reduce的支持进一步提高，能够有效的降低数据处理过程中的资源消耗，避免了资源的浪费。在本文的最后，通过多次实验，使优化后的系统与原始架构中数据处理情况进行比较。实验数据表明，改进后的系统在平衡资源消耗以及负载压力情况下，能够达到我们预期的结果。本文得到国家自然科学基金项目(批准号：60970064)的资助。关键词：云存储，数据流处理，HDFS，Map／R

7、educeAbstractSince2006Googleputforwardthecloudcomputingconcept，cloudcomputingbecomeincreasinglysophisticatedtechnicalservicesformfromhighlyindustryquestionedtheconceptofspeculation．Cloudcomputingoffersmanyservices，storageserviceshavebecomethemostdirectusedbyUS，an

8、ddevelopintoindependentresearchfieldintheindustry,manyITgiantslayoutinthefieldofcloudstorage．Cloudstorageisbornintheeraofbigdata,howtobemoreefficient，fastandse