基于hbase的海量气象结构化数据查询优化

《基于hbase的海量气象结构化数据查询优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、■；１０３００ＴＰ３９２单位代码分类号：可．一．１４５５９４学号：２０１３１２密级；ｉｉｉＵ金立化采專硕±学位论文ａ、一＂雜基于ＨＢａｓｅ的海量气象结构化数据查询优化ＯｔｍｉｚａｔｉｏｎｏｆｍａｓｓｉｖｅｍｅｔｅｏｒｏｌｏｉｃａｌｓｔｒｕｃｔｕｒｅｄｄａｔａｐｉｇｕｅｒｂａｓｅｄｏｎＨＢａｓｅｑｙ申请人姓名：徐熙超指导教师：马廷淮教授专业《椒软件工程研究方向：数据共享存储所在学院：计貧机与软件学院二—六年六月〇…＇’Ｉ－＇＇＇…－＇■、’：．Ｖ．－＇？＞々

2、，．，．独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。本论文除了文中特别加Ｗ标注和致谢的内容外，不包含其他人或其他机构已经发表或撰写过的研究成果，也不包含为获得南京信息工程大学或其他教育机构的学位或证书而使用过的材料。其他同志对本研巧所做的贡献均百在论文中作了声明并表示谢意。．‘矣．备方学位论文作者签名、：遙接＿签字曰期為关于论文使用授权的说明南京信息工程大学、国家图书馆、中国学术期刊（光盘版）杂志社、中国科学技术信息研巧所的《中国学位论文全文数据库》有权保留本人所送交学位论文的复印件和电子文档，可Ｗ采

3、用影印、缩印或其他复制手段保存论文，并通一过网络向社会提供信息服务。本人电子文档的内容和纸质论文的内容相致。除在保密期内的保密论文外，，允许论文被查阅和借阅可Ｗ公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权南京信息工程大学研究生院办理。＼Ｚ＾１开□保密（年月）保密的学位论文在解密后应遵守此＾＿＿（１；协议）务扛学位论文作者签名：合签字日期：辛＞１会指导教师签名：签字曰期＝＞＼７目录摘要ＩＩＩＡＢＳＴＲＡＣＴＩＶ一第章引言１１１．１研巧背景和意义１．２研究现状２１３研究内容５１．４论文结

4、构６第二章ＨＢａｓｅ存储结构队及协处理器机制７２．１分布式存储系统ＨＢａｓｅ７２７．１．１甜犯ｅ的数据模型２丄２ＨＢａｓｅ的系统架构８２丄３ＨＢａｓｅ的数据操作９２丄４ＨＢａｓｅ区域数据块拆分策略１０２丄５拆分策略的优缺点１１２．２协处理器机制１２２．３本章小结１３第Ｈ章基于负载量的区域数据块拆分策略１５３．１区域数据块的拆分流程１５３１７．２基于负载量的区域数据块拆分模型３．２．１确定节点评价指标１７３．２．２确定评价函数１９３．２．３评价函数较向量建模与计算１９３２３．３基

5、于负载量的区域数据块拆分模型的实现３．４本章小结２６第四章基于协处理器的索引模型２７４．１基于协处理器的索引模型概述２７４２８．２表结构设计４．３索引模块２９４．３．１索引建立３１４．３．２索引删除：．３２４．３．３索引查询３３Ｉ４．３．４索引同步３４４．４本章小结％第五章实验平台与测试３７５．１实验平台搭建３７５．１．１实验环境３７５丄２环境配置３８５．２实验工具３９５．２．１数据导入工具ＫｅｔｌｅＳｐｏｏｎ３９５１．２．２系统监控工具Ｇａｎｇａ４ｌｉ５．２．３压力测试工具

6、ＹＣＳＢ４２５．３基于负载量的区域数据块拆分策略实验４２５．３．１实验设计４２５４３．３．２实验结果５．４基于协处理器的索引模型实验４６５．４．１实验设计４６５４２实验结果４７．．５．５本章小结５０第六章总结与展望５２６１．工作总结５２６．２研究展望５３参考文献５４致谢５９作者简介６０ＩＩ摘要海量气象观探测数据是提高公共气象服务精细化、精准化和个性化水平的关键，日增ＴＢ级的气象数据在存储、检索及共享方面的时效性要求对构建在传统ＩＯＥ技术架构上的气象数据管理系统提出了严峻挑战。因此Ｗ数据共享

7、为导向的气象数据共享平台成为了研究的热点，它旨在通过分布式架构Ｗ及可线性扩容能为来处理海量气象数据，所Ｗ整个数据平台负载的平衡Ｗ及对数据查询的低延时是保证各个气象服务高效使用气象数据的关键。本文主要研巧ＨＢａｓｅ分布式非关系型数据库（ＨａｄｏｏＤａｔａＢａｓｅ）的区ｐ域数据块拆分策略与索引模型，针对ＨＢａｓｅ在数据导入阶段Ｗ及数据查询阶段的不一足，提出了种更有效的方案。具体内容及成果如下：（１