面向服务的大数据分析平台解决方案

《面向服务的大数据分析平台解决方案》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、技术产业发展促高进国会中关注中国ChtyinieaHocigh-TnSechtioIndustryPromo面向服务的大数据分析平台解决方案*■　黄哲学**　陈小军**　李俊杰**　王　强**　中国科学院深圳先进技术研究院　深圳　518060摘　要：本文针对日益增长的大数据分析与信息服务的应用需求，提出基于数据中心和互联网、面向服务的大数据分析平台解决方案，为开展大数据分析相关的研究和实践提供借鉴和参考。首先对国内外大数据技术的产业现状进行回顾，然后给出基于数据中心和互联网的大数据分析平台拓扑架构，讨论大数据分析平台的系统功能和关键技术，最后阐述该平台系统的应用和产业化前景。

2、关键词：大数据大数据分析大数据平台互联网服务DOI:10.11842/chips.2014.01.009近年来，大数据处理与分析已经成为全球性问本文结合中国科学院战略性技术先导专项“面向题，引起欧美各国政府和产业界高度重视，美国政府感知中国的新一代信息技术”中“海云数据系统”的研于2012年3月率先发布了《大数据研究与发展计划》[1]，[2]制实践，提出基于互联网和数据中心、面向服务的大Google、Amazon、Facebook、IBM、EMC、SAP等数据分析平台解决方案，以满足日益增长的用户需求，国际领先互联网和IT公司都在相关技术领域和应用进为我国开展大数据分析技术的

3、研究和实践提供借鉴和行布局，力图在大数据产业浪潮中抢得先机。参考。随着我国经济社会信息化和自动化水平不断提高，一、大数据技术发展现状在政府管理、公共服务、科学研究、商业应用等许多领域也面临大数据问题，亟需各种有针对性和经济有大数据时代来临，工业界是技术争霸的主战场。效的解决方案，快速提升我国在大数据领域的整体实全球大数据产业界针对大数据特有的海量、非结构化、力和国际竞争力。关系复杂、动态时变等特性以及不断涌现的各种新型应*该课题受到中国科学院战略性技术先导专项“面向感知中国的新一代信息技术先导专项（XDA06000000）”资助，属于专项项目“海云创新试验环境构建与关键技术研

4、究（XDA06010000）”的子课题之一“：海云数据系统关键技术研究与系统研制（XDA06010500）”**　黄哲学，博士，中国科学院深圳先进技术研究院，研究员，首席科学家，深圳市高性能数据挖掘重点实验室主任，广东省领军人才。国际聚类算法研究著名学者，领导开发开源数据挖掘ALPHAMINER系统，具有20余年在数据挖掘、商务智能领域的研究和开发经验，曾为澳大利亚、香港等地的银行、保险、电信、零售、物流等行业客户提供商务智能应用咨询服务。陈小军，博士，中国科学院深圳先进技术研究院，助理研究员，深圳市高性能数据挖掘重点实验室核心成员。主要研究领域为机器学习、子空间聚类算法。

5、李俊杰，博士，中国科学院深圳先进技术研究院，助理研究员，深圳市高性能数据挖掘重点实验室核心成员。主要研究领域为集成学习、交互式可视化数据分析。王强，博士，中国科学院深圳先进技术研究院，助理研究员，深圳市高性能数据挖掘重点实验室核心成员。主要研究领域为子空间聚类、随机森林分类。52科技促进发展★2014年第10卷第1期技术产业发展促高进国会FocusonChina中ChtyinieaHocigh-TnSechtioIndustryPromo用需求，围绕海量复杂数据的存储、管理、整合、处理、通过内嵌R语言包实现了分析功能。Vertica数据分析分析、展现、应用等主要环节，已经形成

6、了新的大数平台以软件的形式存在，可以加载在不同的计算资源据产业体系。上运行，包括一体机，同构或异构的硬件集群，甚至从发展路线角度看，业界将大数据产业划分为是公有云环境。三大阵营：一类是以IBM、微软、惠普、ORACLE、存储服务器厂商EMC依托其Greenplum数据库[12]EMC等为代表的传统IT领导厂商，通过“硬件+软推出了第一款Greenplum一体机产品（Appliance），件+数据”整体解决方案向用户提供以平台为核心的对原有的EMC硬件和Greenplum软件进行了整完备的基础架构与服务，并通过密集地并购大数据分析合。Greenplum采用不同于Oracle、D

7、B2等数据库企业，以迅速增强和扩展在大数据分析领域的实力和市产品的shared-nothing大规模并行处理(Massive场份额；一类是以SAS、SPSS等为代表的专业商务智ParallelProcess，MPP)架构，特别适用于大数据分能公司，专注于智能数据分析；还有一类是以Google、析场景，可以通过增加节点方式进行横向扩展，从而Amazon、Facebook等互联网公司为代表，基于自身有效控制成本和性能。Greenplum包含支持结构化数的应用平台、庞大用户群和海量用户信息，提供精准据处理的G