基于非关系型数据库的MUSER海量数据存储与检索研究

《基于非关系型数据库的MUSER海量数据存储与检索研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级UDC昆明理工大学专业学位硕士学位论文基于非关系型数据库的MUSER海量数据存储与检索研究研究生姓名李鹏程指导教师姓名、职称邓辉教授学科专业计算机技术研究方向计算机应用技术论文工作起止日期2016年11月~2018年3月论文提交日期2018年5月学位论文出版授权书我同意将本人学位论文著作权中的数字化复制权、发行权、汇编权和信息网络传播权的专有使用权在全世界范围内授予中国学术期刊（光盘版）电子杂志社（下“”简称杂志社），同意其在《中国优秀博硕士学位论文全文数据库》和ＣＮＫＩ系列数据库中出版，未经杂志社书面许可，我

2、不再授权他人以数字化形式出版本文。我同意《中国优秀博硕士学位论文全文数据库出版章程》规定享受相关权益。如有任何第三方未经杂志社许可使用本人论文，杂志社应追究其法律责任，诉讼的全部费用由杂志社承担。胜诉后，由杂志社与本人按５：５的比例分配所获赔。偿金Ｉ作者签名：表關Ｉ认艺年Ｔ月Ｈ日学位论文作者信息论文题目基于非关系型数据库的ＭＵＳＥＲ海量数据存储与检索研宄姓名李鹏程学号２０１５２２０４１１３答辩日期２０１８年５月１９日｜论文级别博士口硕士院／系／所信息工程与自动化学院专

3、业计算机技术ｍａ联系电话Ｅｉｌ＿通信地址（邮编）：备注：：＂）．ｓ／公开□保密（年月至年月（保密的学位论文在解密后应遵守此协＿＿＿＿议）０－－４１０６２７９１９５１６２７９３１７６６２７９０６９３１８１联系电话：传真：０１０６２７９８４－４８通信地址：北京清华大学邮局信箱采编中心邮编：１０００８４摘要摘要随着天文技术的不断发展，对太阳活动进行观测的手段呈现出了多样化的趋势。各种观测方式产生的数据量也在随着时间的发展而骤增，为了更好的对太阳活动进行研究，对这些观测数据的处理成为了目前天文

4、学中比较重要的一部分。尤其是如何高效的处理和存储我国明安图超宽频谱射电日像仪（MingantuUltrawideSpectralRadioheliograph，MUSER）所产生的海量天文数据，变得尤为重要。本文根据MUSER海量数据处理的要求，结合非关系型数据库Cassandra设计开发一种高效、稳定的MUSER数据存储与检索系统。工作主要内容有如下几点：一、从MUSER的数据处理需求出发，对MUSER数据特点和存储需求进行分析，提出传统存储过程中MUSER数据处理面临的数据量大、记录数多、处理过程复杂及数据存储一致性问题。并根据不同

5、非关系型数据库的特点，设计性能实验，选取适合于MUSER海量天文数据的NoSQL数据库。二、根据Cassandra数据模型进行数据建模，使用Cassandra数据库对MUSER数据进行存储。采用新的存储模式在根本上解决传统存储过程中元数据和天文数据分离存储时面临的数据不一致性的问题，避免了MUSER数据存储的不一致性。并且设计NoSQL适配器，加快数据转换及传输速率。三、针对MUSER元数据和天文数据的统一存储，设计并实现MUSER海量天文数据管理系统，针对不同的数据库提供数据检索和存储接口，最后通过对比实验，验证了Cassandra数

6、据库在进行MUSER数据存储和检索时性能具有更大的优势。综上所述，论文设计实现了基于Cassandra数据库的MUSER海量天文数据管理系统，在保证MUSER海量天文数据一致性的前提下，提高了MUSER海量数据的管理和存储效率，也为其他海量天文数据的处理提供了借鉴和参考。关键字：非关系型数据库；元数据；数据一致性IAbstractABSTRACTWiththecontinuousdevelopmentofastronomicaltechnology,themethodsofobservingsolaractivityhaveshowna

7、varietyoftrends.Theamountofdatageneratedbyvariousobservationmethodshasalsoincreaseddramaticallyovertime.Tobetterstudythesolaractivity,theprocessingoftheseobservationshasbecomeanimportantpartofcurrentastronomy.Inparticular,howtoefficientlyprocessandstorethemassiveastronom

8、icaldatageneratedbyMUSERbecomesparticularlyimportant.AccordingtotherequirementsofMUSERmassivedataproces