基于hadoop的云计算基础架构分析

《基于hadoop的云计算基础架构分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、通信论坛计算机与网络创新生活Computer＆Network65基于Hadoop的云计算基础架构分析李响（葫芦岛第一职业中专计研中心辽宁葫芦岛125001）[摘要]Hadoop是一个可实现大规模分布式计算的开源软件平台，已经被广泛应用在云计算领域。从Hadoop分布式文件系统架构的整体入手，描述了其分布式数据存储、分布式任务分配、分布式并行计算和分布式数据库4个方面的核心内容，并论述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和计算过程。使开发人员深入地理解Hadoop架构的工作原理与实现过程，为云计算背景下的应用程序开发提供重要的参考

2、。[关键词]Hadoop云计算分布式文件系统中图分类号：TP391文献标识码：A文章编号：1008-1739（2012）02-65-3AnalysisofCloudComputingInfrastructureBasedonHadoopLIXiang(ComputerResearchCenterofTheFirstVocationalSchool,HuludaoLiaoning125001,China)Abstract：Hadoopisanopen-sourcesoftwarewhichcanachievelarge-scaledistributedcom

3、puting,soitiswidelyusedincloudcomputing.Startingwithdistributedfilesystemarchitectureofhadoop,thispaperdescribesdistributeddatastorage,distributedtaskassignment,distributedparallelcomputinganddistributeddatabase.ItdiscussesHDFSworkingprinciple,fileoperationprogressandMap/Reducewor

4、kingprincipleandcomputationprocedure.Thusitmakesdevelopersin-depthunderstandworkingprincipleandimplementprocedureofhadooparchitecture.Itprovidesimportantreferencefor?applicationdevelopmentofcloudcomputingbackground.Keywords：Hadoop;cloudcomputing;distributedfilesystem1引言2Hadoop平台介绍

5、随着时代的发展，人们对数据的海量存储和超级计算能Hadoop是Apache开源组织的一个分布式计算开源框力提出了更高的要求，这在过去几十年里促进了硬件的发展，架，它可以运行在大型集群的廉价硬件设备上，实现对集群的使芯片集成度符合摩尔定律呈指数增长，但是硬件毕竟受物控制和管理。而且Hapoop为应用程序透明的提供了一组稳定理极限的约束。另外，由于传统并行编程模型应用的局限性，可靠的接口，屏蔽了并行应用开发的细节，实现更加便捷的构客观上要求一种容易学习、使用、部署的新的并行编程框架。建企业级的应用，并且能够实现海量数据的管理和分布式数因此，产生了云计算。云计算

6、概念由Google提出，是对分布式据处理。处理、并行处理和网格计算及分布式数据库的改进处理，Hadoop最核心的设计就是分布式文件系统HDFS和Google在2006年推出Google的企业服务即为云计算服务的Map/Reduce算法模型。分布式文件系统HDFS是专门为雏形[1]。用户只需要通过浏览器连接到Google，就可以进行相Map/Reduce作业所设计的文件系统。但HDFS并不是用来处应的存储和计算处理。Google还提供了GoogleDocs、Google理随机存取数据的，HDFS的设计中更多的考虑到了数据批处Desktop等作为个人网络用户的

7、在线软件应用及云计算模式理，而不是用户交互处理，比之数据访问的低延迟问题，更关的初步体验。随着云计算理念和应用的推广，IBM、微软、A-键的在于数据访问的高吞吐量。因此，HDFS是一个给应用提mazon等信息业巨头都已经参与到云计算研究和开发中，并供高吞吐量的分布式文件系统[2]，可能由成百上千的机器所且出现了Hadoop架构，对用户开源并迅速发展起来。构成，每个机器上存储着文件系统的部分数据。计算模型定稿日期：2011-12-262012年第02期《计算机与网络》通信论坛66Computer＆Network计算机与网络创新生活Map/Reduce是Had

8、oop的核心计算模型[3]，是用于在集群上HDFS的“一次写入多次