随机化数据冗余方法及其在存储系统中的应用.pdf

《随机化数据冗余方法及其在存储系统中的应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA博士学位论文DOCTORALDISSERTATION论文题目随机化数据冗余方法及其在存储系统中的应用学科专业计算机软件与理论学号200911060152作者姓名肖宜龙指导教师王晓京研究员万方数据万方数据分类号密级注1UDC学位论文随机化数据冗余方法及其在存储系统中的应用（题名和副题名）肖宜龙（作者姓名）指导教师王晓京研究员中国科学院成都计算机应用研究所（姓名、职称、单位名称）申请学位级别博士学科专业计算机软件与理论提交论文日期2013.3.15论文答辩日期2013.5.28学位授予单位

2、和日期电子科技大学2013年6月23日答辩委员会主席周明天评阅人唐常杰张小松岳丽华钟勇汪心宣注1：注明《国际十进分类法UDC》的类号。万方数据万方数据RANDOMDATAREDUNDANCYMETHODANDITSAPPLICATIONINDISTRIBUTEDSTORAGESYSTEMSADoctorDissertationSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerSoftwareandTheoryAuthor:XiaoYi-longAdvisor:WangXiao-jingSchool

3、:SchoolofComputerScienceandEngineering万方数据万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子

4、科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日万方数据万方数据摘要摘要利用网络分布式存储系统存储大数据已成为数据存储技术的发展趋势。网络分布式存储系统通常由数量众多的存储节点构成，由于人为或自然灾难的不可避免性，或是存储节点本身的低可靠性，常常会发生部分存储节点损坏或是无法及时使用的情况。而这一旦发生，存储其中的重要数据就会丢失或是不可用，造成极大的损失。因此，为了保证存储数据的安全性和可靠性，将数据冗余方法引入网络分布式存储系统成为一种必然。已有的数据冗

5、余方法，如基于复制的数据冗余方法，基于阵列码的数据冗余方法等均存在种种不足，或者是存储冗余度过高，或者是容错能力有限，无法满足网络环境下分布式存储系统的需求。针对这一问题，本文首次以随机矩阵理论为基础，提出了一类新的数据冗余方法，称之为随机化数据冗余方法，并研究了其在两类具体的网络分布式存储环境——分布式数据容灾存储和传感器网络数据存储环境下的应用。本文的主要研究成果包括以下几个方面：1．提出了性能优异的随机化数据冗余方法。容错能力高、存储冗余度低、运算速度快、修复带宽低是网络环境下的分布式存储系统对数据冗余方法的需求。现有的数据冗余方法往往无法同时满足这些需求。本文以二元域上的随机矩阵为基础

6、，提出了一类新的能满足上述需求的随机化数据冗余方法，给出了详细的文件存储、读取、以及修复算法。在本文提出的随机化数据冗余方法中：由源文件得到冗余文件、由冗余文件恢复出源文件均基于构造好的随机矩阵完成；随机矩阵满秩的高概率性质保证了冗余方法的高容错能力和低存储冗余度；同时，源文件和冗余文件之间的转换只依靠异或运算进行，降低了计算复杂度，提高了文件的处理速度；另外，随机矩阵的稀疏性也使得修复丢失的部分冗余文件数据所需的修复带宽有效降低；2．提出了基于随机化数据冗余方法的低冗余度数据容灾方案。数据容灾方案是网络分布式数据容灾存储系统抵御大规模存储节点损毁，保证数据生存能力的有效手段。传统的容灾方案通

7、常以复制冗余方法为基础，以高存储空间代价换取一定的容灾能力。本文在随机化数据冗余方法的基础上，提出了一类具有低存储冗余度的数据容灾方案。与复制容灾方案相比，本文方案在提供相同容灾能力的前提下，可将系统的存储空间代价降到近似的理论最小值。本I万方数据摘要文方案的可行性和有效性在相关实验中得到了验证。3．以随机化数据冗余方法为基础，提出了适用于无人值守传感器网络的具有低通信成本和低访问成本的分布式存储