基于Hadoop的云存储集群的设计-论文.pdf

《基于Hadoop的云存储集群的设计-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2015年第1期闽南师范大学学报(自然科学版)No．1．20l5年(总第87期)JournalofMinnanNormalUniversity(Nat．Sci．)GeneralNo．87基于Hadoop的云存储集群的设计彭明．孙峰(1．闽南师范大学福建省粒计算及其应用重点实验室，福建漳州363000；2．漳州职业技术学院计算机工程系，福建漳州363000)摘要：随着信息技术的快速发展。高校在科学研究中的数据呈几何倍增长．为了整合教育资源、节约教育成本，本文利用Hadoop构建一个高效、稳定、可扩展的云存储集群，从而解

2、决高校在教育教学过程中资源浪费和存储空间不足的问题．关键词：HDFS；云存储集群；控制节点；数据节点中图分类号：TP393文献标志码：A文章编号：2095—7122(2015)01—0054—05TheDesignofCloudStorageClusterBasedonHadoopPENGMing．SUNFeng1·(1．LabofGranularComputing,MinnanNormalUniversity，Zhangzhou，Fujian363000，China；2．DepartmentofComputerEn

3、gineering，ZhangzhouInstituteofTechnology，Zhangzhou，Fujian363000，China)Abstract：Withtherapiddevelopmentofinformationtechnology，thedatainscientificresearchofcollegesanduniversitiesincreasewithgeometrictimes．Inordertointegrateeducationresourcesandsavethecostofeduc

4、ation，thispaperbuildsanefficient，stableandscalablecloudstorageclusterbasedonHadoop．Throughthiscloudstoragecluster，awasteofresourcesandinsuficientstoragespaceinclassroomteachingareefectivelysolved．Keywords：HDFS；cloudstoragecluster；,NameNode；DataNode2l世纪初。随着Web2．

5、0技术的迅速崛起，网络迎来了新的发展高峰，网站或系统所处理的业务量快速增长。用户存储和处理的数据也在迅速增加，这些使原有系统面I临快速扩展的严峻考验．对于各大高校来说，随着对科研能力提出的更高要求，其需要处理的数据也在呈指数倍的增长．同时，由于我国教育信息化过程中缺乏统一的规划和长远的目标，普遍存在重复建设、资源分散、存储空间不足等问题【1】．因此，如何有效的利用现有资源解决更多的问题，成为教育行业亟待解决的关键问题之一．而云存储【2】的出现，为这些问题提供了良好的解决方案．云存储是一种新兴的网络存储服务。是在云计算

6、的概念上延伸和发展出来的新概念[3]．云存储利用集群技术、网格技术和分布式技术等传统技术，将网络中的不同类型、不同厂商的存储设备通过软件集合起来协同工作，为用户提供存储服务．这就意味着，云存储突破了传统硬件之间不兼容的障碍，不再是一种硬件设备而是作为服务提供给用户．与传统的存储相比，云存储提高了资源利用率，降低了硬件以及维护成本，减少了能源需求．同时，存储空间可以按需动态分配给用户，并且允许用户随时随地通过移动终端访问数据中心．收稿日期：2014-07_09基金项目：国家自然科学基金项目(61170128．61379

7、049。61379089)；福建省科技计划项目(2012H0043)；福建省计算机应用技术和信号与倩息系统研究生教育创新基地(闽高~[20081114号)作者简介：彭明(1988一)，男，山西省潞城市人，硕士研究生在读．·54·彭明，孙峰：基于Hadoop的云存储集群的设计第1期本文利用Hadoop的分布式文件系统构建一个低廉、高效、可扩展的云存储集群，为高校提供一个大数据存储和资源共享的解决方案．本文内容安排如下：第一部分介绍了Hadoop分布式文件系统的设计目标及系统架构；第二部分搭建Hadoop分布式集群；第三

8、部分设计云存储集群并阐明其实现过程；第四部分对全文进行总结．1Hadoop文件系统Hadoop分布式文件系统(HDFS)是一个能够在普通硬件环境上运行的分布式文件系统网．它对硬件的要求相对较低，具有较高的容错性，支持以“流”的形式访问文件数据，注重数据的吞吐量，适用于大数据的存储．1．1HDFS设计目标相比现有的分布式文件系统，HDFS更注重硬