云存储系统设计关键技术

《云存储系统设计关键技术》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

云存储系统设计关键技术　　摘要该系统是基于海量存储系统，为用户提供网络数据存储、数据备份、资源服务、数据共享与协作、增值服务的数据管理平台。引入分布式对象存储技术，采用本地缓存技术和P2P技术，有着完善的数据安全保护措施。【关键词】云存储云备份对象存储1引言云存储是在云计算（CloudComputing）技术上发展出来的一个新的存储及服务提供方式。它是集先进的分布式系统、智能化的资源调度能力和管理能力于一体的数据存储系统，具备高性能、大容量、弹性扩展、自动化管理等特点以及丰富的业务支撑能力，满足海量的数据存储以及大规模业务承载的需求场景。2云存储系统结构我们都知道作为云存储系统架构是由四部分组成，按照顺序来说是这样的：1.数据存储层；2.数据管理层；3.数据服务层；4.用户访问层。云存储系统架构自下而上依次是：数据存储层、数据管理层、数据服务层以及用户访问层。5 首先，我们来探讨一下数据存储层的问题，数据存储层作为云存储系统架构来说是最底层的部分。其中包含了两个部分，一是统一存储层，二是存储设备。这两个部分讲村社设备相互连接构成了存储设备的系统基础。这一部分的主要作用有三点：1.集中管理；2.状态监控；3.容量的动态扩展。其次，我们来说说数据管理层。这一部分是整个存储系统的核心部分。我们可以这么理解，打个比方来说，这里就好像总部所在。总体控制着整个数据管理工作。接着来说说聚聚服务层。数据服务层有两个特点：一是灵活性非常高，二是直接面向服务层。这个部分的作用是根据不同用户的需要，分门别类提供全方位服务。最后要讨论的用户访问层。所有的用户，无论在任何方位，只要有可以联网的终端设备就可以登录云存储平台了，这样就可以将存储服务使用给任何一个用户了。3云存储系统功能设计本系统结构设计是支持大规模并发用户，提供自动负载均衡，提供服务的高可用性，支持海量数据的可靠存储。整套系统拟采用基于动态三方架构的存储服务体系结构实现。3.1存储客户端代理和用户接口层存储客户端代理，提供网络存储服务的本地接口。可以是专用的存储服务客户端代理程序（如备份代理，分布式文件系统客户端程序），也可以是标准存储服务客户端代理程序（如NFS客户端，CIFS客户端，iSCSI客户端）。3.2存储服务层和存储管理层5 提供多种存储服务的支持以及数据的存储组织管理功能。存储服务层（DRD），完成特定的服务功能，包括：①提供多协议存储服务网关服务，在内部专属存储组织结构的基础上，虚拟出标准的存储服务。如支持NFS服务、WebDav服务、CIFS服务。②提供专属的文件共享、数据备份、数据搜索、资源管理等服务，通过与存储客户端和用户接口层协作，完成扩展的存储服务功能。存储管理层（SD）则完成具体的数据存储组织，采用面向对象的方式存储数据，提供多种数据存储索引和物理存储管理，支持面向数据属性的存储组织方式。3.3存储资源注册、监控和调度层该层完成存储资源的注册、监控和负载调度功能。负责对存储中的用户资源、存储服务器、存储管理节点服务器进行登记；对存储服务的使用状况进行动态监管；对新接入的用户进行资源配置和资源入口定位。负责对服务器负载进行监控，管理任务的动态迁移，维护系统服务的可用性。4云存储系统关键技术4.1海量对象存储系统海量存储系统是基于普通服务器或PC+磁盘构建的分布式存储系统，具有高可靠性、高可扩展和低成本特性。系统基于对象式架构，分为元数据服务器和数据服务器。元数据服务器和存储服务器按照集群模式部署，将整个存储系统虚拟为一个大的共享存储池。4.2基于重复数据删除的数据存储组织技术5 对于共享数据资源和数据备份服务来说，数据集合往往存在大量的数据冗余，通过对传输和存储的数据进行有效的压缩可以大幅减少网络传输代价和存储成本。本项目引入一种基于重复数据删除的数据存储组织方式，在数据传输和存储的过程中自动引入冗余检测和重复数据删除技术，该技术可将数据的传输和存储代价降低为原来的1/5～1/20。4.3多种平台、多接口支持S-Cloud云存储服务平台为用户提供三种用户界面和相应的开发接口，通过浏览器接口用户可以下载和上传自己的数据文件，无须安装专用软件可在任何支持浏览器的设备访问数据。虚拟磁盘界面提供用户熟悉的资源管理器接口，用户可以采用拖放的方式存储和访问数据。控制台方式则提供最强大的策略管理器，用户可以通过界面完成全部的存储服务功能，包括数据存储服务、数据同步服务、数据备份服务、数据共享服务、数据推送服务以及与好友的数据协作服务。4.4云备份服务技术5 基于云存储服务平台云备份系统包括三个层次的备份云：最上层为广域云，覆盖范围为所有备份客户，可以通过广域网访问的区域，服务器包括广域管理器、广域云存储节点；中间层为区域云，按照地理区域划分，服务节点包括区域云管理器、区域云存储节点；最下层为本地云，也称私有云，既可以按更小的地理区域划分，也可以按照特定实体划分，如企业、组织或校园，可运行于广域网或局域网，用户限于区域内的人员，服务节点包括本地管理器、私有云存储节点。5总结云存储系统用户很容易增加存储容量，而且不需要购买、安装和管理任何存储基础设施，却提供了一个完善的备份、容灾数据中心。该系统在武汉高校应用，成本和易用性优势对高校具有很强的吸引力，发展和应用前景广阔。参考文献[1]涵妤.基于云计算的安全数据存储系统的设计与实现[J].煤炭技术，2010（12）.[2]王鹏，董静宜.一种云计算架构的实现方法研究[J].计算机工程与科学，2009（1）.[3]郗俊强.云计算中的数据管理关键技术及其应用[J].无线互联科技，2011（8）.作者单位武昌理工学院信息工程学院湖北省武汉市4302235