存储容错全面调研

《存储容错全面调研》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、不但要研究节点之间的互联关系，提高物理拓扑结构的容错性，还要研究存储在节点上的数据的组织和管理，提高数据的容错性.网络存储系统及其容错简介网络存储系统的构建是一个及其复杂的而广泛的研究课题和热点，主要围绕以下三个方面：1)网络存储系统的拓扑架构的设计当今的存储技术，己经由单纯的以服务器为中心(servercentric)的存储模式转变为以数据为中心，(Oatacentric)的存储模式。这种存储模式导致了网络存储技术的飞速发展，DAS.NAS、基于FC-SAN技术、IPSAN技术和ISCSI.SAN技术的网络存储更是面临着巨大的机遇和诱

2、人的前景。如何在现有的网络拓扑架构的基础上提出一种易扩展的、更安全的网络存储架构方案就显得更加紧破。我们提出海量存储的方案，庞犬的存储设备组成了一个庞犬的容器，这个容器承载着数以亿计的信息数据。2)网络存储系统的可靠性和容灾机制研究海量网络存储系统，跟任何一个系统一样，要安全可靠。海量网络存储系统的可靠性其实显的更加的重要，海量网络存储系统管理着庞人的数据，在这个视数据为生命的时代，可靠性的要求是不言而喻的。如何让浩瀚的网络数据可靠安全，这就要从容灾容错机制着手，设计一种更加比当前有效的、安全的保障机制。这种方案就在成文本文的研究热点。

3、3)网络存储中容错性算法和方案设计在分布式存储系统中，为了取得较高的数据持续性和可靠性，要求磁盘I/O和网络I/0尽可能高，通常使用的两种冗余容错方法是完全的数据复制和磁盘阵列技术(RAIDRedundantArrayoflnexpensiveDisks)[4][7]。随着分布式存储系统规模的扩大、海量数据的处理，简单地镜像复制会带来相当高的带宽和存储空间，很难满足分布式存储系统容错性能的要求。网络存储系统中不论硬件设备还是软件都不可避免存在故障的发生，但并不是故障发生就一定意味着该系统完全失效。“容错”就是容许存在某些错误，因此，容错

4、计算就可以理解为即使有硬件故障或数据丢失，系统仍能正常运行。我们可以利用兀余机制来实现容错功能从而提高系统的可靠性。“冗余”按汉语字面理解就是“多余，没有用的”，显然，这种解释在这里是讲不通的。其实，它是实现容错技术提高系统可靠性的最主要手段。冗余主要包括软件冗余，硬件冗余和数据冗余。结合本课题本文主要讨论硬件冗余和数据冗余。1•硬件冗余主要是通过网络接口和网络链路冗余来实现可靠的网络I/O通道。2•数据冗余是指数据之间的重复，也就是说除了正常的数据之外，还有一些多余的数据，网络存储系统中数据冗余主要有复制和编码两种方式。复制主要是指将

5、同样的数据存储多份。目前P2P存储系统和分布式文件系统通常使用复制来提高系统的性能和文件访问的容错。由存储节点组成的文件系统分布于整个广域网中，同吋想要访问大文件的多个客户也分布于整个广域网中。文件系统使用的标准策略是把文件分割成n个固定大小的块，这些块被复制k份分布在整个系统中。如图所示，单个文件被分割成8个数据块，标号从1到8,每个数据块被复制到8个存储节点中的任意四个节点上。图中所示访问这个文件的三个用户试图从附近的服务器上下载这个文件。基于复制策略的数据分布如图中基于复制的系统相对于无复制的系统而言提供了容错机制，然而复制的代价

6、也是很高的。首先，为了容m・l个存储节点失效每个数据块必须复制m份。其次，客户必须找到每个文件的数据块的完整拷贝，这将是比较困难的，并且任何一个数据块的失效或者慢速访问都将影响整个文件访问的性能。编码方式的冗余是指将数据通过一定的编码算法计算出校验数据，然后原始数据和校验数据分布存储在整个系统中。编码方式有很多种，目前存储系统中主流的编码技术是基于奇偶校验的RAID技术，数据存储分布冗余通过存储虚拟化技术构建相应级别的RAID来实现。基于纠删码的数据存储分布。纠删码方案不是存储文件本身，而是将文件分割成k个数据块，然后再将这k个块编码成

7、n个分布存储在广域的存储节点上。这样客户只需访问n个数据块中的k个就町以得到原始文件。如图1.3所示，文件被分割成8个数据块，标识为1到8,通过纠删码编码成32个数据块，标识为1至032,其屮原始数据块被标识为1到8,冗余块标识为9至IJ32,客户只需要访问这32个数据块中的任意8个就可以得到原始的文件。和对复制策略来说，纠删码提高了容错能力，但它也不是没有成本代价的，具体来说，编码涉及到向量的点积运算，译码涉及到nXn矩阵的转置运算，这种操作比普通的算术运算更加昂贵。随着n的增加，纠删码会导致相当大的开销。不管是复制还是基于编码方式信

8、息冗余对提高整个存储系统的可靠性都具有举足轻重的作用，是实现异地容灾提高存储系统可靠性的关键技术。二.Google存储容错介绍可靠的存储系统GFS(GoogleFileSystem)建立起一个高可靠、高可扩