山东政务信息系统整合基础信息资源库

《山东政务信息系统整合基础信息资源库》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、山东省政务信息系统整合基础信息资源库项目需求和服务方案要求一、项目概况（一）建设目标全省基础信息资源库是面向全省电子政务信息化建设的统一政务信息资源管理平台。对全省基础信息资源库的大数据管理，整合全省政府部门的各类社会经济发展信息资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台。（二）建设原则山东省基础信息资源库建设采用分布式处理技术，搭建大数据处理引擎和分析开发平台，提升结构化数据及非结构化数据的分析处理能力，支撑内外部信息资源的整合共享、海量异构数据的高效处理与数据服务能力的弹性扩展，实现大数

2、据分析常态化，助力构建新型数据管理与分析体系。（1）遵循国家标准，坚持统一规划（2）重视系统安全建设，保证数据的安全性（3）遵循省级电子政务顶层设计，做好规划设计（4）制定合理的实施与运维方案，保障系统顺利实施（5）完善数据利用长效机制，保证数据接入和应用业务连续性（三）建设周期6个月（含上线试运行期1个月）。（五）采购清单序号名称单位数量技术要求1数据基础支撑系统项1具体要求见：数据基础支撑系统建设。2数据整合服务建设项1具体要求见：数据整合服务建设。3基础数据库建设项1具体要求见：基础数据库建设。二、建设内容（一）数据基础支撑系统建设

3、数据基础支撑系统需要采用当前主流、先进技术架构，全面兼容当前大多数政务业务应用，支持分布式的数据存储、数据处理和数据计算引擎，可以提供支撑海量、多格式、动态增长的信息存储、数据分析计算等基础大数据工具和服务能力。１７1.系统基础支撑功能需求（1）数据接入和共享组件实时数据采集：提供高可用的，高可靠的，分布式的海量日志采集、聚合和传输能力。支持在日志系统中定制各类数据发送方，用于收集数据，同时提供对数据进行简单处理，并写到各种数据接受方的能力。批量数据集成：实现数据基础支撑系统与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将

4、数据从关系型数据库或者文件服务器导入到数据基础支撑系统的HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。分布式消息队列：提供分布式、分区化、多副本的消息发布-订阅。支持消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费场景。（2）分布式文件系统提供高吞吐量的数据访问，实现大规模数据可靠的分布式读写，保证一个文件在一个时刻只被一个调用者执行写操作，而可以被多个调用者执行读操作。通过配置实现当数据节点有一个目录还可用的时候，数据节点服务依然可用的效果。（3）分布式数据库

5、提供适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储能力。支持库级别本地备份、批量导出和数据恢复，支持全量、增量两种模式。用于集群故障、人为误操作导致的数据丢失，同时提供对于列簇级别进行加密。（4）并行数据库支持基于x86服务器、Share-Nothing分布式执行的开发架构，采用并行数据库来解决海量结构化数据处理问题，提供处理PB级海量结构化数据存储和分析能力，通过控制模块的协调，并行地完成大规模的数据处理工作，实现对数据处理的快速响应。（5）关系型数据库提供基于云计算平台的

6、即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。（6）分布式计算框架①实时计算提供实时流式数据处理的系统，支持流式查询语言，可以快速进行业务开发。②交互式计算交互式内存计算：提供快速的计算、写入以及交互式查询的框架。支持交互式的数据分析、交互式的数据挖掘，避免繁忙的磁盘IO。提供分布式流数据处理能力，允许无缝地处理集群中任何工作节点的故障。１７交互式分析：实现交互查询下的SQL分析引擎功能。支持HDFS数据本地访问的最大化，直接访问HDFS数据，全面支持传统应用的接口JDBC、ODBC，提供复杂查询、关联分析功能。③离线计算

7、提供分布式批处理引擎，具备大规模数据集（大于1TB）的并行运算能力。支持对于资源根据队列进行分配，不同队列分配不同比例的资源。对于用户提交的任务，支持对任务所需的CPU资源与内存资源进行控制。④智能分析算子集构建有监督学习（SVM、Random、Forest、LogicRegression等）、无监督学习（DBScan、Affinity、Propagation等）、协同过滤等智能分析算子集，提供一站式、端到端的数据分析全流程平台支撑。（7）全文检索组件提供全文检索，高亮显示，层面搜索，近实时索引，动态聚类，数据库整合，文档（如Word、P

8、DF格式）处理和地理信息搜索等能力。（8）数据仓库组件提供用来进行数据提取转化加载（ETL）的工具。支持对表的某一列或者多列进行加密，实现根据指定的分隔符查询表数据。（9）任务调度平台能够为各