基于MapReduce的数据立方体物化算法的设计与实现.pdf

《基于MapReduce的数据立方体物化算法的设计与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、齋翁石士学位文题目：基于的数据兑方体物化算法的设计与实现学号：姓名雑：■专业：计算机科学与技术导师：学院：网络技术研究院年月（）日中国北京时當大摩硕士学位论文题目：基于的数据立方碰德馳十辅学号：姓名：李栋专业：雅机鮮献导师：高志鹏学院：网络技术研究院年月日独创性（或创新性）声明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任

2、何贡献均已在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关靑任。本人签名：日期：关于论文使用授权的说明学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。（保密的学位论文在解密后遵守此规定）保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论文注释：

3、本学位论文不属于保密范围，适用本授权书。日期日期基于的数据立方体物化算法的设计与实现摘要随着现代网络的普及和不断发展，互联网数据的积累程度也不断提高。当今，传统的数据仓库存储和查询技术的发展遇到了瓶颈。在传统的数据仓库技术中，对于数据立方体的构建有许多不同的物化算法，常见的模型有商覆盖立方体和外壳立方体等。这些模型都有相应的物化算法来实现立方体的计算。但是对于海量数据信息而言，传统的商覆盖立方体算法由于需要处理大量的临时数据而导致算法所需的运行空间过大，同时算法还存在着海量数据处理并行效率低下的问题。另一方面，传统的外壳立方体构建算法过于依赖数

4、据离散度，在数据量大、数据之间离散度高的情况下算法效率明显低下。随着云计算和大数据技术的发展，为海量数据处理的若干问题带来了有效的解决途径。因此，针对以上提出的问题，本文分别展开以下研究：针对商覆盖立方体算法的不足，本文通过利用计算上卷方体的方法，提出了基于框架的商覆盖立方体，算法。该算法在增强算法并行性的基础上，避免计算大量临时表的数据，提升了算法的效率。通过仿真验证，证明了改进后的算法与原始算法相比具有明显的高效性。针对外壳立方体算法的不足，本文通过分析原始算法在数据离散度高的条件下效率低下的原因，提出了框架下基于数据离散度无关的算法，并对

5、算法改进前后的复杂度进行了分析对比。通过仿真验证，证明了改进后的算法在数据离散度高的情况下，依然就有良好的算法效率。最后，本文进行了总结，以及对进一步的研究工作从不同的研究方向上做出了分析和展望。关键词云计算数据立方体商覆盖立方体外壳立方体RESEARCHANDIMPLEMENTATIONOFBUILDINGDATACUBEBASEDONMAPREDUCEABSTRACTAlongwiththedevelopmentofmodernnetworkandtheInternet,MoreandmoredataisaccumulatedontheIn

6、ternet.Traditionaldatawarehousestorageandquerytechnologyencounteredabottleneckinthedevelopmentnowadays.Therearesomecommonmodelsuchasquotientcubeandfrag-shellcubeetc.Thesemodelshavecorrespondingalgorithmtobuildcubes.Butfordealingwithmassivedata,theseprocessingwaysstillhavesom

7、eseriousdeficiencies.Thetraditionalquotientcubebuildingalgorithmhasasignificantdrawbackwhichhastodealwithalargenumberoftemporarydata.Meanwhile,dealingwithmassivedata,theparallelprocessingcapabilityoftraditionalalgorithmislow.Ontheotherhand,traditionalfrag-shellsalgorithmreli

8、estoomuchonthedatadispersionthatitperformspoorly,whenconfrontslargeamountof