欢迎来到天天文库
浏览记录
ID:37042571
大小:395.60 KB
页数:27页
时间:2019-05-10
《《数据分析》PPT课件》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、大规模数据分析方法对比AComparisonofApproachestoLarge-ScaleDataAnalysis作者1:AndrewPavlo,BrownUniversity1MapReduceandparallelDBMSs:friendsorfoes?朋友还是冤家2Acomparisonofapproachestolarge-scaledataanalysis3H-store:ahigh-performance,distributedmainmemorytransactionprocessingsystem4The
2、NMIbuild&testlaboratory:continuousintegrationframeworkfordistributedcomputingsoftware5Smoothertransitionsbetweenbreadth-first-spanning-tree-baseddrawings主要做Hadoop(Mapreduce)和并行数据库管理系统比较,用于大规模数据集分析。作者简介作者2ErikPaulson,UniversityofWisconsin1MapReduceandparallelDBMSs:f
3、riendsorfoes?2Acomparisonofapproachestolarge-scaledataanalysis3Clustera:anintegratedcomputationanddatamanagementsystem和第一作者一样,主要做Hadoop(Mapreduce)和并行数据库管理系统比较,用于大规模数据集分析。作者3AlexanderRasin,BrownUniversity1CORADD:correlationawaredatabasedesignerformaterializedviewsan
4、dindexes2MapReduceandparallelDBMSs:friendsorfoes?3HadoopDB:anarchitecturalhybridofMapReduceandDBMStechnologiesforanalyticalworkloads4Correlationmaps:acompressedaccessmethodforexploitingsoftfunctionaldependencies5Acomparisonofapproachestolarge-scaledataanalysis6H-st
5、ore:ahigh-performance,distributedmainmemorytransactionprocessingsystem作者在本文的基础上,设计了HadoopDB系统,一个Mapreduce和并行数据库管理系统结合的系统。摘要目前有相当大的兴趣在基于MapReduce(MR)模式的大规模数据分析。虽然这个框架的基本控制流已经存在于并行SQL数据库管理系统超过20年,也有人称MR为最新的计算模型。在本文中,我们描述和比较这两个模式。此外,我们评估两个系统的性能和开发复杂度。最后,我们定义一个包含任务集的基准
6、运行于MR开源平台和两个并行数据库管理系统上。对于每个任务,我们在100台机子的集群上衡量每个系统的各个方面的并行性能。我们的研究结果揭示了一些有趣的取舍。虽然加载数据和调整并行数据库管理系统执行的过程比MR花费更多的时间,但是观察到的这些数据库管理系统性能显著地改善。我们推测巨大的性能差异的原因,并考虑将来的系统应该从这两种架构中吸取优势。ABSTRACT:ThereiscurrentlyconsiderableenthusiasmaroundtheMapReduce(MR)paradigmforlarge-scaleda
7、taanalysis.AlthoughthebasiccontrolflowofthisframeworkhasexistedinparallelSQLdatabasemanagementsystems(DBMS)forover20years,somehavecalledMRadramaticallynewcomputingmodel.Inthispaper,wedescribeandcomparebothparadigms.Furthermore,weevaluatebothkindsofsystemsintermsofpe
8、rformanceanddevelopmentcomplexity.Tothisend,wedefineabenchmarkconsistingofacollectionoftasksthatwehaverunonanopensourceversionofMRaswellasontwopar
此文档下载收益归作者所有