基于nosql数据库的大数据存储技术的研究与应用

《基于nosql数据库的大数据存储技术的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于NoSQL数据库的大数据存储技术的研究与应用　　摘要：实际工程中采集和处理的数据量特别大，这对传统数据库技术提出巨大挑战。针对传统关系型数据库存储速度慢、对硬件要求高的缺点，提出一种以NoSQL数据库为基础的大数据处理方法，打破了传统数据库的关系模型，数据以一种自由的方式存储，而不依赖固定的表结构。该方法主要是将经验模态分解并与NoSQL数据库技术相结合，应用于大型结构件的变形监测中，构建出一个基于NoSQL数据库系统的大型结构件变形监测系统。仿真结果表明，该方法可以实现大型结构件变形监测数据的

2、实时处理，在计算收敛性、算法稳定性和处理速度上都优于传统数据库技术。关键词：NoSQL数据库；经验模态分解；关系模型；变形监测；大型结构件中图分类号：TP392文献标志码：A文章编号：1006-8228（2014）07-07-03Abstract：Inengineeringpractice，thelargeamountofdataacquisitionandprocessinghaschallengedtraditionaldatabasetechnology.Todealwiththedisadv

3、antagesoflowstoringspeedandhighhardwarerequirementoftraditionalrelational6database，alargedataprocessingmethodbasedonNoSQLdatabaseispresented.Thetraditionalrelationalmodeldatabaseisbrokenanddataisstoredinafreemanner，whiledonotrelyonfixedtablestructure.T

4、hismethodismainlytheempiricalmodedecompositionandNoSQLdatabasetechnologiescombineapplieddeformationmonitoringoflargestructuralpartstoconstructalarge-scalestructuredeformationmonitoringsystembasedonNoSQLdatabasesystem.Simulationresultsshowthatthepropose

5、dNoSQLdatabasebasedonthelargedataprocessingmethodcanachievereal-timeprocessingoflargestructuraldeformationmonitoringdataanditisbetterthanthetraditionaldatabasetechnologyontheconvergenceandstabilityofthealgorithmandprocessingspeed.Keywords：NoSQLdatabase

6、；empiricalmodedecomposition；relationshipmodel；deformationmonitoring；Large-Scalestructure0引言6计算机技术和网络技术的快速发展以及硬件的不断升级和更新换代，使得数据呈现爆炸式增长，向海量数据和大数据迈进。越来越多的数据属于非结构化数据，如图片、声音和视频等文件[1]。面对海量数据的存储和处理要求，传统的关系型数据库已无法满足用户需求，甚至制约着海量数据的存储和处理。本文基于这种形势研究NoSQL数据库在大型结构件

7、变形监测数据存储和处理中的应用。1大型结构件变形监测工程建筑中，桥梁、地铁隧道等大型结构件在经济发展中有重要作用，因此通过实时监测大型结构件的实际状态和环境状况，实时监测和诊断结构性能，及时发现结构损伤，对比理论值和实际检测值，有助于识别和预计可能出现的灾害，及时发现灾害隐患并进行处理[2-3]。2变形监测技术由于GPS测量技术具有高精度的三维定位能力，同时可以实现实时连续观测，因此GPS为监测大型结构件的动态和静态变形提供了非常有效的手段。GPS测量技术不但精度高，而且不受天气条件影响，可以实现全

8、天候观测测量，自动计算和记录，因此GPS技术被广泛地应用于大型结构件的监测。图1为某大桥的GPS连续监测系统框图[4]。6GPS监测到的数据，需要进行实时处理和诊断，做到及时识别和判断，其中涉及到大量的数据存储和计算处理，由于NoSQL数据库克服了传统关系型数据库的缺点，具有存储速度快和硬件限制要求低的优点[5]，本文将经验模态分解技术和NoSQL数据库结合起来，进行大型结构件变形监测数据的存储和处理研究。5结束语本文以NoSQL数据库为基础，结合EMD分解技术，实现