基于可扩展计算平台的大图数据管理-论文.pdf

《基于可扩展计算平台的大图数据管理-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、科研信息化技木与应用2013，4(1)：49—56技术／TECHNOLOGY·基于可扩展计算平台的大图数据管理高军’一，杨冬青’21北京大学信息科学技术学院计算机科学技术系，北京1008712高可信软件技术教育部重点实验室，北京100871摘要：随着数据采集和存储技术的发展，社交网络、生物信息科学、交通导航等领域中出现了规模庞大、内部结构复杂、查询需求多样的大图数据。传统基于单机内存的图处理方法无法满足大图数据管理需求。可扩展计算平台的发展为大图数据管理提供了可行的技术方案。本文首先分析了大图数据之上的不同类型查询，

2、重点探讨了基于关系数据库、基于MapReduce计算框架、基于BSPfBulkSynchm．nousParalle1)计算模型和基于第三方外包服务器的大图数据管理方法，并分析了未来可能的研究路线关键词：大图数据：关系数据库：MapReduce；BSP；外包BigGraphManagementBasedonScalableComputingPlatformsGaoJun．YangDongqing，1．ComputerScienceDept．．SchoolofElectronicsEngineeringandComput

3、erScience，PekingUniversity,Beijing100871，China2．KeyLaboratoryofHighConfidenceSoftwareTechnologies(PekingUniversity)，MinistryofEducation，BeijingJ00871ChinaAbstract：Withthedevelopmentofdatacollectionandstoragetechniques，biggraphswithmassivesize，complexintra—relat

4、ionshipsanddifferentgraphqueries，appearinsocialnetwork，bio—informatics，andtransportationnetwork，etc．Theclassicgraphalgorithmswhicharesuitableinmemoryofasinglecomputercannotbeusedtobiggraphsdirectly．Theexplorationofexistingscalableplatformsprovidesfeasiblesoluti

5、onstomanagebiggraphs．Inthispaper，wefirstinvestigatedifferentkindsofgraph基金项目：国家高技术研究发展计划(863计划)(2012AA011002，2011AA010706)；国家自然科学基金(61073018，61272156)；深港创新圈项目(JSE201007160004A)49科研信息化技术与应用，2013，4(1)queries，andthenanalyzetheadvantagesanddisadvantagesofdifferenta

6、pproachestomanagementofbiggraphsusingvariousplatforms，includingrelationaldatabase，MapReduceframework，BSP(BulkSynchronousParalle1)modelandthirdpartyoutsourcedservers，andfinallyoutlinethefuturework．Keywords：Biggraph；Relationaldatabase；MapReduce；BSP；Outsourcing1引言

7、数据模型表达能力强，数据管理领域的研究人员就提出图模型为客观世界的数据进行建模，并设计了相关随着数据收集、数据存储等相关技术的发展，的原型系统。CharlesW．Bachman还由于其在图数据社交网络、生物信息科学、交通导航等领域出现了模型方面的贡献于1973年获得图灵奖。之后，由于大规模图数据。例如，社交网站Facebook于2004图数据查询表达和查询执行复杂度高，图数据管理系年开始创建，到20l1年已拥有8亿多活跃用户，统的研究趋缓。在这一阶段，关系数据库由于其操作用户可以在网站上发布消息，可以通过评论、增加接

8、口简单，查询优化技术实现突破，逐渐成为数据管好友等操作建立和其他用户的关联关系。在国内，理领域的主流。2000年后，随着社交网络等大图数中国移动通讯公司截止到2012年有6亿多用户，据的迅猛增长和大图数据应用需求的推动，图数据的用户之间通过呼叫关系等建立关联。这些数据规模相关研究工作重新成为热点。庞大，内部关联关系复杂，我们称此类数据为大图目前