DB5305_T 19.27-2019 保山市信息惠民工程综合标准 第27部分：信息惠民大数据平台技术标准(保山市)

《DB5305_T 19.27-2019 保山市信息惠民工程综合标准 第27部分：信息惠民大数据平台技术标准(保山市)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、ICS35.240L67DB5305市ET由巳、万保山目，标准DB5305/T19.27-2019替代DG5305/T19.27一-2017保山市信息惠民工程综合标准第27部分:信息惠民大数据平台技术标准2019-10-30发布2019-11-01实施保山市市场监督管理局发布D85305/T19.27--2019目IJ1==1本标准按照GB/T1.1--2009<<标准化工作导则第l部分:标准的结构和编写》给出的规则起草。本标准由保山市大数据管理局提出。本标准由保山市工业和信息化委员会归口o本标准起草单位:保山市大数据管理局。本标准主要起草人:刘志胡、王明超、李祖燕、丁戚、邹瑜、朱超群。本

2、标准替代DG5305月19.27--20170D85305/T19.27--2019保山市信息惠民工程综合标准第27部分信息惠民大数据平台技术标准1范围3.1Hadoop3.2HbaseHBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而非基于行的模式。3.3MapReduceMapReduce是一种编程模型，用于大规模数据集(大于lTB)的并行运算。概念"Map(映射)"和"Reduce(归约)"是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便

3、了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map(映射)函数，用来把一生且键值对映射成一组新的键f直对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。DB5305/T19.27--20193.4HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓

4、库的统计分析。3.5Pig3.10分布式文件系统分布式文件系统CDistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。3.11企业服务总线ESB企业服务总线是传统中间件技术与XML，Web服务等技术结合的产物。ESB提供了网络中最基本的连接中枢，是构筑企业神经系统的必要元素。ESB的出现改变了传统的软件架构，可以提供比传统中间件产品更为廉价的解决方案，同时它还可以消除不同应用之间的技术差异，让不同的应用服务器协调运作，实现

5、了不同服务之间的通信和整合。3.12结构化数据结构化数据是行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据。3.13非结构化数据2D85305/T19.27--2019非结构化数据是不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、XML,HTML、各类报表、图像和音频/视频信息等等。3.14半结构化数据半结构化数据是介于完全结构化数据(如关系型数据库、面向对象数据库中的数据)和完全无结构的数据(如声音、图像文件等)之间的数据。3.15关系型数据库下列缩回各i吾适用于本标准一一-Web:一一XML:ExtensibleMarkupLanguage，可扩展

6、标识语言一--YARN:YetAnotherResourceNegotiator，另一种资源协调者5总体框架5.1概述信息惠民大数据平台是DB5305月19.2-2019中确立的信息惠民工程总体框架的"一个综合服务平台"的一部分。信息惠民大数据平台是以Hadoop大数据体系为基础，实现结构化、半结构化和非结构化的海量数据进行存储、处理分析、数据转换、数据应用等功能，是统一处理信息惠民大数据库的海量大数据的支撑平台。5.2体系架构5.2.1体系架构图信息惠民大数据平台的体系架构见图1，包括数据层、计算层和服务层。3D85305/T19.27--2019图1大数据平台体系架构数据查询检索服数据

7、处理服务数据分析服务服务层RESTfulServle/JSP计算居Spar日lve分布式内存计算OLA分析引(各类数据库访r'~J庐飞阴雨访扣口METL工具数据层严二二~严二二音l16主主=====，IJ，二日汀5.2.2数据层数据层按照不同的业务应用需求，通过各类数据库访问接口、分布式文件访问接口等万式，采集相关数据源，进行ETL处理，形成面向业务领域的数据集市，利用各种数据库技术，包括关系型数据库Oracle、内存数