基于hdf5的海量金融数据存储管理系统

《基于hdf5的海量金融数据存储管理系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文（工程硕士）基于HDF5的海量金融数据存储管理系统THEMASSIVEFINANCIALDATASTORAGEMANAGEMENTSYSTEMBASEDONHDF5周建波2014年12月国内图书分类号：TP311.5学校代码：10213国际图书分类号：004.4密级：公开工程硕士学位论文基于HDF5的海量金融数据存储管理系统硕士研究生：周建波导师：李东教授副导师：张锐高级工程师申请学位：工程硕士学科：软件工程所在单位：软件学院答辩日期：2014年12月授予学位单位：哈尔滨工业大学ClassifiedInd

2、ex:TP311.5U.D.C:004.4DissertationfortheMaster’sDegreeinEngineeringTHEMASSIVEFINANCIALDATASTORAGEMANAGEMENTSYSTEMBASEDONHDF5Candidate：ZhouJianboSupervisor：Prof.LiDongAssociateSupervisor：SeniorEngineerZhangRuiAcademicDegreeAppliedfor：MasterofEngineeringSpeciality

3、：SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence：December,2014Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要随着金融公司业务的不断扩大，原有的软件已经越来越不能适应公司快速发展的需要，这就对金融数据处理和存储软件提出了更高的要求。本论文在分析总结了HDF5在国内外的研究现状后，提出了基于HDF5文件格式建立集中存储的解决方案，将原

4、来由多个软件来处理的数据文件由集中的解析程序来进行集中处理。通过对供应商的多种数据文件格式的分析，抽象出公共的处理方法和特别的处理方法，对于公共的处理方法由程序的公共类库和框架本身来处理，同时引入可配置的插件模型技术来处理特别的处理方法。另外引入了基于HDF5文件格式的数据存储管理系统，该系统为数据的存储提供了一个公共的平台和存储机制。由于HDF5文件格式本身不能基于主键进行查找，本文实现了为HDF5文件建立索引以达到主键的快速查询的目的。本文将系统分为三个大的模块，分别是：存储模块、解析模块、外部接口。其中存储模块

5、解决公共存储平台的问题，提供了一个统一存储的地方；解析模块解决各种不同的数据文件格式的处理；外部接口主要是提供由开发人员使用的低层程序接口及由普通用户使用的Web接口和桌面程序。目前系统已经部署，并且运行良好，很好的解决了信息独岛问题，为用户提供了一个统一的存储平台，减少了需要维护的软件数量，从而降低了运营成本。同时设计的可配置解析系统能够快速的响应多变的客户需求，提高了公司运行的效率。关键词：海量数据；层次数据格式5；基于列的存储；布隆过滤器；金融数据-I-哈尔滨工业大学工程硕士学位论文AbstractWithth

6、econtinuousexpansionoffinancialcorporationbusiness,theoriginalsoftwarecannotmeettheneedsofcorporationrapiddevelopment,whichputforwardhigherrequirementsforthefinancialdataprocessingandstoragesoftware.OntheanalysisandsummaryfordomesticandinternationalHDF5research

7、status,thispaperputsforwardthecentralizedstoragesolutionsbasedontheHDF5fileformat.Thedatafilesfrommultiplesoftwarehandledbyacentralizedanalyticalproceduresforcentralizedtreatment.Throughtheanalysisofthesuppliersdatafileformats,itabstractstheprocessingmethodofpu

8、blicandspecialprocessingmethods,themethodsofdealingwiththepublicbypubliclibrariesandtheframework.Atthesametime,itintroducingconfigurableplug-inmodeltechnologytodealwithspeci