基于局部相似性的无损压缩方法研究

《基于局部相似性的无损压缩方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201572854学校代码10487密级硕士学位论文基于局部相似性的无损压缩方法研究学位申请人：韩子衿学科专业：计算机技术指导教师：胡燏翀副教授答辩日期：2017.5.23万方数据AThesisSubmittedinPartialFulfillmentoftheRequirementsFortheDegreeofMasterofEngineeringResearchonLosslessCompressionApproachBasedonLocalSimilarityCandidate:HanZij

2、inMajor:ComputerTechnologySupervisor:Assoc.Prof.HuYuchongHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaMay,2017万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。

3、本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中

4、科技大学硕士学位论文摘要近年来，电子信息技术的飞速发展推动了全球进入大数据时代。数据压缩作为一种主流冗余消除技术，可以消除系统冗余数据，节省存储空间开销，被广泛应用于存储系统中。现有传统无损压缩方法主要采用“滑动窗口”的方法来检测冗余数据，然而滑动窗口大小限制了冗余查找范围，使得不同窗口内的冗余数据因相距较远而无法消除。与传统无损压缩技术不同，数据去重技术以块级或文件级的粒度消除冗余数据。重复数据块可以通过指纹匹配进行识别，避免了传统无损压缩方法中复杂的字节比较。然而数据去重技术只能检测并消除完全重复的数据，

5、对于非重复但是相似数据块中的冗余无法消除。研究表明，将数据去重技术与传统无损压缩相结合，利用数据去重消除重复数据，再采用相似性检测方法识别相似数据，最后通过传统无损压缩消除相似冗余，可以有效提升传统压缩性能。但现有相似性检测方法多需要进行大量计算，造成了一定的时间开销，影响了整体压缩吞吐量。为此，提出了一种基于局部相似性的无损压缩方法。该方法将数据去重技术与传统无损压缩技术有效结合，提升了传统无损压缩方法的压缩率以及压缩效率。基于局部相似性的压缩方法充分利用数据去重技术来（1）加速冗余数据全局消除（2）挖掘数

6、据局部性将重复数据块相邻数据块视作相似数据块，通过将相似数据聚类来压缩消除这部分冗余，有效简化相似性检测的计算，提升了整体压缩的压缩速率。实验结果表明，基于局部相似性的无损压缩方法可以提升传统无损压缩方法的压缩率20%~71%，同时加速压缩速率17%~183%，有效提升了传统无损压缩的压缩性能。关键词：传统无损压缩，数据去重，数据局部性I万方数据华中科技大学硕士学位论文AbstractWiththerapiddevelopmentofelectronicinformationtechnologyinrecen

7、tyears,theworldhassteppedintotheeraofbigdata.Datacompression,amainstreamtechnologyofdatareduction,iswidelyusedinstoragesystemstoreduceredundantdataandthussavestoragespace.Traditionallosslesscompressionapproachesmainlydetectredundantdatainaslidingwindow.This

8、leadstosuboptimalcompressionperformancebecausetheslidingwindowsizelimitstherangeofdetecting,soredundancyamongthedifferentcompressionwindowscannotbeeliminated.Differentfromtraditionalcompressionapproach