云环境下直方图立方压缩存储与增量更新及查询研究与实现

《云环境下直方图立方压缩存储与增量更新及查询研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文云环境下直方图立方压缩存储与增量更新及查询研究与实现作者姓名：指导教师：申请学位级别：学科专业名称：论文提交日期：学位授予日期：评阅人：陈昌宁鲍玉斌教授东北大学信息科学与工程学院硕士学科类别：工学计籼用技术2014年6月论文答辩日期：2014年6月2014年7月答辩委员会主席：王大玲王大玲王溪波东北大学2014年6月万方数据AThesisinComputerApplicationTechnologyResearchandImplementationofHistogramCubeStorageandIncremen

2、talUpdatingandQueryunderCloudEnvironmentByChenChangningSupervisor：ProfessorBaoYubinNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢．]§二。恩。学位论文作者签名：随浯署El期：29膨．

3、占。≥t学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。半年口一吲一年半口两年口搿翥，篙瓢譬≯宁掰El氨翘戤矽签字日期：2口阡、易。。≯2I_签字期：／气。7斗-乡、≯多万方数据东北大学硕士学位论文摘要云环境下直方图立方压缩存储与增量更新及查询研究与实现摘要随着大数据和云计算时代到来，像联机分析处理(OnLineAnalyticalProcess

4、ing，OLAP)这种需要大量计算和存储开销的问题变得简单许多。然而受数据海量化和高维化影响，OLAP技术在计算和存储方面仍然面临严峻的挑战，分布式环境下的处理方式只是缓解上述挑战。本文提出了直方图数据立方体的压缩架构，分别从直方数据图立方体的底层存储结构，内容压缩，整体压缩三个方面进行了优化处理。首先底层存储结构上，本文基于直方图数据立方体和封闭数据立方体技术对于直方图数据立方体的存储结构进行改进，提出了封闭元祖+直方图的底层存储结构；内容压缩上，本文根据直方图数据立方体的统计结构信息提出计数倒转的压缩方法；整体压缩上，本文借用文件压缩进一步

5、压缩直方图数据立方体；综合上述三种压缩技术，本文实现了对直方图数据立方体的高效压缩。构建数据立方体在时间上是一种很大的开销，前人大多都是在研究如何用尽可能少的时间构建一个完全数据立方体，而数据立方体是面向企业应用的，企业会有不断的新数据需要累加到数据立方体中。本文对数据立方体增量更新的收益与代价进行了分析研究，对数据立方体增量构建方法进行了探索，本文提出了封闭数据立方体增量更新时没有删除只有增加和更新的规律，并在MapReduce分布式环境下实现了MRC．IncreUp算法。封闭数据立方体的查询实现才是OLAP的最终目的，本文提出了基于查询键的

6、直接查询和基于封闭原则编码分类的分类查询，另外为了实现交互式查询，本文引入了Impala大数据实时查询系统，并提出了利用Impala系统完成交互式查询的架构和查询优化策略。本文在TPC—DS测试数据集上通过实验证明了：对数据立方的压缩情况，以及增量更新相对于重新计算的优势和查询算法及实现的相对于以前查询算法的高效性。关键词：OLAP；封闭数据立方体；直方图数据立方体；MapReduce；增量更新；查询；压缩存储万方数据ResearchandImplementationofHistogramCubeCompressedStorageandIncr

7、ementalUpdatingandQueryunderCloudEnvironmentAbstractAsthebigdataandcloudcomputingera，suchason—lineanalyticalprocessing(OLAP)needalotofcomputingandstorageoverheadproblembecomesmuchsimpler．Affectedbytheseaquantificationandhighdimensionaldata，howeveLOLAPtechnologystillfacesseri

8、ouschallengesintermsofcomputingandstorage，handlingjustalleviatethesechallen