针对云存储网关的重复数据删除技术的研究与实现

《针对云存储网关的重复数据删除技术的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201172401学校代码10487密级硕士学位论文针对云存储网关的重复数据删除技术的研究与实现学位申请人：黄威学科专业：计算机系统结构指导教师：谭志虎副教授答辩日期：2014.1.15万方数据AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchandImplementationofDataDe-duplicationTechnologyforCloudStorageGatewayCandidate:HuangWeiMajor:Compu

2、terArchitectureSupervisor:AssociateProf.TanZhihuHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaJanuary,2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使

3、用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学位论文摘要随着云计算技术的不断发展，云存储以其低廉的价格和海量的存储空间得到越来越多中小企业的青睐。由于现有的云存储服务提供商提供的云存储接口与企业

4、本地设备接口之间不统一，给企业应用云存储服务增加了使用成本。云存储网关的出现，弥补了这一差异。现有的云存储服务大多是按照容量和流量进行计费，而在企业的主存储、备份和归档系统中存在大量的重复数据，造成了云存储资源的浪费。根据云存储网关中数据的存储特点，提出了在云存储网关中采用重复数据删除技术的设计和实现方案，将重复数据在云网关内部进行缩减。首先根据数据相似性算法查找相似数据集，缩小数据检索范围，再在相似数据集中进行相同数据匹配。去重后的数据被保存成固定大小的小文件，减少本地与云存储之间的传输延时。对于映射表的存储，设计了基于“内存—磁盘”的两级映射表管理方案，并提出了一种映射表及数据的

5、缓存优化方法。通过采用缓存的主动写回和被动换出机制延缓数据写入磁盘的时间，尽可能地将目标文件相同的数据一次写回，同时根据映射表及数据的局部性特点将相关数据组织在一起。对于数据块的预取，采用了基于命中效果的缓存策略，提高缓存空间的利用率。为了减少内存开销，提出了改进的区间红黑树结构，并对基于区间的查找及切分方法进行了讨论。在系统中，还采用了一些工程优化的方法，进一步提高重复数据删除的性能。最后对重复数据删除系统进行了相关测试。首先对所使用的哈希函数进行了测试，测试结果表明，一种公共域非加密哈希函数的计算性能远远优于其他哈希函数。然后对相似性数据划分的去重效果进行了测试，测试结果表明，采

6、用相似性缩减数据匹配范围的方法能够有效地进行重复数据检测，并且与完全去重的去重率相比下降不大。最后对缓存的效果进行了测试，由于缓存的使用，大大减少了访问磁盘的次数，重复数据删除的性能有所提高，达到预期效果。关键词：云存储网关，重复数据删除，性能优化I万方数据华中科技大学硕士学位论文AbstractWiththedevelopmentofcloudcomputing,cloudstoragegainsthefavorofsmallandmediumenterprises(SMEs),buttheinconsistentbetweentheinterfaceoflocalinfrastr

7、ucturesandcloudstorageserviceprovidersincreasestheuse-costofcloudstoragebySMEs.Theadventofcloudstoragegateway(CSG)canmakeupthisdifference.SMEsshouldpayforbillsinaccordancewithstorage,requestanddatatransfer.Therearelargevolumesofdu