基于hdfs的云存储系统的研究与实现

《基于hdfs的云存储系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于HDFS的云存储系统的研究与实现宋杰[1]，邢四为[1]，王磊[1]，陈林锋[1](1.安徽大学计算机科学与技术学院，安徽合肥230601)摘要：针对海量数据的存储问题，传统方法一般是通过购置更多数量的服务器来提升计算和存储能力，存在硬件成本高，存储效率低等缺点。本文旨在通过构建基于Hadoop分布式文件系统的云存储系统，解决海量数据存储难题。文章首先阐述了云存储的相关理论，接着对HDFS的管理机制和MapReduce编程模型进行了分析，最后结合实际需求，设计并实现了一个基于Hadoop的云存储系统。经过测试，该系统有效的解决了海量数据存储

2、管理问题，具有开发成本低、处理速度快、运行稳定、易于扩展等特点。关键字：Hadoop;HDFS;MapReduce;云存储;分布式系统中图分类号：TP306文献标志码：A引言随着计算机网络技术的快速发展，信息量呈爆炸性增长，数据存储逐渐成为制约企业发展的关键问题。企业现有系统的扩展能力差，难以满足企业快速变化的业务需求[1]。传统的NAS方案扩展能力有限，并且面向企业级的NAS设备价格往往非常昂贵，购买以及安装独立的NAS设备，将面临着巨大的经济压力和额外的维护成本。作为一种新兴的商业计算模型，云计算具有动态部署的功能，可以利用廉价的服务器构建

3、企业级存储平台，具有更加弹性、更加安全以及更低的成本[2]。本文通过对开源云计算平台Hadoop的研究，提出了基于Hadoop构建云存储平台，通过采用Linux集群技术、分布式文件系统和云计算框架，实现了海量数据存储业务项目基金：2010安徽省自然科学基金研究项目（KJ2010B123）作者简介：宋杰(1966-)，男，副教授，研究方向为嵌入式系统、计算机原理与接口、生物信息学；邢四为（1988-），男，硕士生，主要研究方向为嵌入式系统应用。1.云存储及其架构模式1.1云存储相关理论云存储概念是在云计算概念上延伸和发展出来的一个新的概念。云存储

4、的本质是服务[3][4]，云存储通过计算机集群技术、网格技术和分布式文件系统等技术，将网络中大量各种不同类型的存储设备组织起来协同工作，提供统一的数据存储服务和业务访问功能的一种存储模式[5]。云存储模式比较传统存储模式具有如下特点：第一，在功能上，相比传统存储模式面向如高性能计算、事务处理应用，云存储模式具有面向多种类型的网络在线存储服务的特点；第二，在性能上，云存储模式具有高数据安全性、高可靠性、高效率，以及适合处理大规模用户、网络环境复杂多变等业务的特点；第三，在数据管理功能上，云存储模式需要满足传统文件访问方式，同时能够支持海量数据管理

5、并提供公共服务支撑功能，以方便云存储系统后台数据的维护[6]。基于上述特点，云存储模式整体架构自底向上依次是：数据存储层、数据管理层、数据服务层以及云端应用层。数据存储层包括底层的存储介质部署、计算机集群搭建以及设备虚拟化过程；数据管理层实现用户权限控制、数据安全等业务；数据服务层实现数据存储、共享和备份业务逻辑；云端应用层实现用户的定制业务[7]。1.1Hadoop框架的工作机制Hadoop为应用程序透明的提供了一组稳定可靠的接口。Hadoop框架的主要组成部分是Hadoop分布式文件系统（HDFS）和MapReduce的实现[8]。HDFS

6、采用Master/Slave架构，一个HDFS集群由一个NameNode节点和一组DataNode节点组成。NameNode是一个中心服务器，负责管理文件系统的名字空间（NameSpace）以及客户端对文件的访问。在集群系统中，一般在一个节点上运行一个DataNode，负责管理它所在节点上的数据存储，并负责处理文件系统客户端的读写请求，在NameNode的统一调度下进行数据块的创建、删除和复制。Hadoop还实现了Google的MapReduce分布式计算模型，MapReduce把应用程序的总任务分割成许多子任务，每个子任务可以在任何集群节点（

7、DataNode节点，通常也作为计算节点）上并行处理。HDFS创建了多份数据块（datablocks）的副本（Replicas），以保证各个子任务节点计算的可靠性（Reliability）。由于采用了分布式文件系统和MapReduce模型，因此Hadoop框架具有高容错性及对数据读写的高吞吐率，能自动处理失败节点。1.2HDFS的管理机制HDFS(HadoopDistributedFileSystem)是一个运行在普通硬件之上的分布式文件系统。集群包括NameNode、SecondaryNameNode和DataNode三个部分[9]。一般来说

8、，集群中有一台作为NameNode，负责整个系统元数据的存储记录和对整个系统的控制；一台机器作为SecondaryNameNode，负责备份NameN