基于大数据架构的数据采集与存储系统的设计与实现

《基于大数据架构的数据采集与存储系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201676111学校代码10487密级1硕士学位论文基于大数据架构的数据采集与存储系统的设计与实现学位申请人：汤如学科专业：软件工程指导教师：方少红副教授答辩日期：2018.12.17AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringDesignandImplementationofDataCollectionandStorageSystemBasedonBigDataArchitectureCandidate:TangRuMajor:SoftwareEngi

2、neeringSupervisor:Assoc.Prof.FangShaohongHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaDecember,2018华中科技大学硕士学位论文摘要在web3.0的时代下，网民与互联网之间在生活的各个层面紧密联结，各类信息数据呈指数型增长，数据影响到各行各业，人工智能飞速发展。而数据作为AI智能化的基石，呈现的形式往往又是杂乱无章的，这就使得数据分析或是AI智能化模型训练的难度大大提高。因此，对数据规整化的采集与存储对于数据分析与人工智能化的发展，迫在眉睫。首先，对相关领域的国内外研究现状

3、进行分析，针对目前已有的存储中间件架构的不足，提出在现实应用生产中采集与存储的需求，并针对这一系列需求提出了基于大数据架构的数据采集与存储的系统。其次，研究了数据采集的关键技术，对已有框架技术以及中间件进行选型。提出了服务间数据对接与爬虫主动爬取俩种方案进行数据采集。针对数据清洗与存储速度的不一致性提出采用消息队列中间件方式，进行高峰时期数据量请求消峰。然后，本系统对于正式生产环境中系统的高可用性需求，针对现有存储中间件进行设计，采用分布式与数据回写钩子，进行了宕机策略设计，保证系统的高可用性，全天24小时不间断服务，数据至少3天不丢失保证数据的可靠性与服务的稳定性。最后，采用SpringBo

4、ot框架搭建实现了这样一个基于大数据架构的数据采集与存储的web系统。综上，对基于大数据架构的数据采集与存储技术研究，在已有的大数据存储的中间件的基础上实现了一个大流量，高并发，高可用的数据采集与存储系统。关键词:数据采集数据存储高可用性稳定性I华中科技大学硕士学位论文AbstractNetizensandwebarecloselyconnectioninalloverthelevelsintheeraofInternet3.0.Variouskindsofinformationareexplosivegrowing,dataisinfiltratedintoallwalksoflife,an

5、dartificialintelligenceisdevelopingrapidly.Thedataswhictisthebaseofartificialintelligenceisofteninamess,whichmakesthedifficultyofdataanalysisorAIintelligentmodeltraininggreatlyimproved.Therefore,thecollectionandstorageofdataregularizationisurgentforthedevelopmentofdataanalysisandartificialintelligen

6、ce.Atfirst,itanalyzestheresearchstatusinrelatedfieldsathomeandabroad,andputsforwardtherequirementsofacquisitionandstorageinreal-worldapplicationproductionfortheexistingshortageofstoragemiddlewarearchitecture,andproposesabigdataarchitecturebasedonthisseriesofrequirements——Datacollectionandstoragesyst

7、em.Secondly,thekeytechnologiesofdataacquisitionarestudied,andtheexistingframeworktechnologyandmiddlewareareselected.Datacollectionisproposedfordatadockingandcrawling.Inviewoftheinconsistencybetweendat