数据纠删码技术

《数据纠删码技术》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、云时代的数据纠删码技术随着云计算应用渗透到人们工作、生活的方方面面，菡于云计算、大数据的应用业务已经大规模的落地实施，作为数据存储中心的海fi存储系统冇力的支撑了云计算业务的应川和快速发展，海量存储系统〒台也就成为云计算建没过程屮必须规划、丼酋先要落地实施的工作。相比于传统的％用环境，云计算环境屮的极用业务数景史多、对存储系统性能的要求也存在着多样性的差异，这也就使得面向云计算、大数据的海量存储系统必须能够提供差异化的10存储服务、以及持续的在线运行和高效、可靠的界错机制。其屮海景数据的冗余保护机制是面叫云计算的海撒存储系统必须拥柯的一个重要特征。传统数据

2、冗余保护不适于云计算吋代的海跫数据存储需求传统的存储阵列所采取的数据冗余技术主耍包拈RAID技术、副本、快照、镜像、数据同步等方式，这些技术分别具备独柯的特点，适用于不同的应用场景。副本，是最简单的数据冗余策略，即统一存储系统中存储M—份数据的多个相hd拷贝，只要这些拷W中的一个冇效，就能访问该数裾。数裾的副木越多、数据的吋用忡越高、可靠性越高，存储空间的利川率也就越低。快照，是关于特定数椐集的一个拷W，该拷W包括相应数据在某个时间点的映像。根据实现方式分为全拷W快照、差分快照、增量快照。全拷W快照数据可用性好，但是存储空间利用效率低;差分快照和增量快照存

3、在着“空窗期”。镜像，存储系统在接受数据写入吋执行的是写入两份操作，即同一份数裾分别写入两个存储设备中。根据写入的策略不同，分为同步镜像、异步镜像。数据镜像能够提供较好的数据冗余、也给存储带来两倍的压力，而且存储系统只有50%的空闽利用率。数据M步，是在主存储系统和备份存储系统之间实行的数据拷贝操作，数据M步的5入操作存在较人的时叫延迟，较人的限制了K部署环境。RAID技术，是把多块独立的存储磁盘按不M的方式组合起来形成一个存储磁盘组，提供比单个硬盘更高的存储性能和数据冗余保护。根据组成磁盘组的方式差异，设定了RAID级别。RAID技术提商了存储空间资源的

4、利川率，只能提供羊点存储系统的数据保护，不能满足人界量、分布式存储系统的应用。RAID技术是在1GB驱动器!li现前发明的，随着磁盘存储密度的提高，企业级存储磁盘容呈已经达到2TB、3TB、4TB,并出现6TB磁盘。采川高存储密度构建的RAID磁盘姐，出现磁盘故障耑要修正TB级别的数据吋重建过程耑要的吋间较长，常常耑要一天或者更长的时问;特别是在生产系统屮，重建时叫更长。在长时W重建人界景存储内界时，组成RAID组的第二个磁盘、第三个磁盘出现故障的可能性会大大增加;在秉建过程中，一个磁盘故障明显加人了其它磁盘的访问负载，使得其它磁盘故晾出现的概率急剧增加，

5、较人的影响了存储系统的可用性。针对传统数据冗余仅护技术在人界景磁盘存储系统屮所表现出的不足，以分布式、人规模、大容量磁盘存储为特点的海量存储系统屮出现了-•种更加高效的数据冗余技术——纠删码。云吋代的数据冗余保护机制——纠删码纠删码起源于通信传输领域，UI前逐渐出现在人规模存储系统屮，特別是分布式存储环境，用于实现数据的冗余保护。纠删码冗余保护技术解决了传统冗余保护技术不适于分布式生产存储系统的问题。纠删码技术菇本思想是将一份数裾划分为k块原始的数裾，葙于k块原始数裾冗余计兑获得m块冗余数据。对于这k+m块数据，其中任意的m块元素岀错时，存储系统均可以通过

6、重构算法恢复出原來的k块数据，如K图所示。数裾纠删码机制ufii向云时代的冗余保护基于纠删码的方法与传统的镜像、副本技术相比，具有冗余度低、磁盘利川率高等优点。针对云计算、人数据业务对海景存储系统的多样性、人规模存储界量耑求，浪潮推出了面14云计算、人数裾的高性能、统一存储系统AS13000,AS13000海朵存储系统所采用纠删码技术能够较好的适应云计算数据的分布式存储应用环境。AS13000存储系统支持N+M格式的纠删码，级别冇：N+l、N+2、N+3和N+4,在这种N+M数据模型屮，N代表原始数据块数景，M代表在不发生数据X•失的前提P海暈存储系统所允

7、许发生的同时故障的数据块数H。如，N+2允许海景存储屮丢失两个数据块、或者同时丢失两个节点。如下图。数拋纠删码机制:而I⑺云时代的冗余保护浪潮AS13000海量存储系统支持文件多个副本冗余存储，提高了数据持续可用性，但也会花费三倍的存储资源和运营成木。针对云计算和大数裾应川所要求的高效率的存储耑求，浪潮AS13000海暈存储系统融合了纠删码冗余保护机制，奋效地实现了更低的运行成本，同时保证了海蕭数裾的存储可靠性和持续可用性。采用纠删码冗余保护技术的AS13000海量存储系统是面向云计算、大数据存储需求而推出的新一代海量存储系统，它整合了集群、网络、分夼式文

8、件系统、分夼式SAN存储系统、分布式对象存储系统等高端存储技术，能