民族证券的数据中心建设情况交流

《民族证券的数据中心建设情况交流》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、企业级数据中心建设研讨信息技术部颜阳2010年4月—建设具有民族特色的数据中心主要内容一、项目概述二、系统介绍三、建设过程四、实现效果前言什么是数据中心：数据中心是企业的业务系统与数据资源进行集中、集成、共享、分析的场地、工具、流程等的有机组合。1、从应用层面看，包括业务系统、基于数据仓库的分析系统；2、从数据层面看，包括操作型数据和分析型数据以及数据与数据的集成/整合流程；3、从基础设施层面看，包括服务器、网络、存储和整体IT运行维护服务。感官上出现的几个关键字：系统投入海量一、项目概述2009年

2、度行业科技奖获奖统计的思考“数据中心裂变”一、项目概述三大要素，八项原则架构、开发模式、项目管理、团队建设——企业+高校的模式一、项目概述：why？简化信息系统架构。数据中心建设后可以大大简化各系统之间的关系，生产系统是数据的生产者，业务系统既是数据的生产者又是数据的消费者，而数据中心是物流中心和配送中心。减轻生产系统压力。数据中心的数据不仅权威而且全面。利用先进的实现方法，使得统计和分析更便捷，这样会大大减轻生产系统的压力，同时也为建设新一代订单系统打下了坚实的基础。保证业务数据统一。许多业务系统

3、需要同类型的数据，由于不同系统处理方式和统计口径不尽统一，往往同类数据在各个系统中都不统一。数据中心建设后可以解决数据统一问题。提高业务创新能力。数据中心是数据加工厂，同时也是价值发现者，这样为我们后续业务系统的建设和完善提供了强有力的数据支持。提升决策分析水平。数据中心的数据全面性和包容性强，为数据深度挖掘提供了先决条件，也为决策分析提供了强有力的支持。案例：数据中心作为恢复之用一、项目概述：how？走自主开发建设道路。能够贯彻落实属于我们的设计理念，快速响应业务部门的需求，节约运行维护成本，推动

4、业务创新。企业+高校合作模式；构建稳定高效的平台。面向海量数据，构建一个稳定高效的数据处理平台和服务平台是数据中心建设的核心。采用成熟的开发工具。利用成熟的ETL工具，能够保证数据整合的完整性、高效性和可维护性；利用成熟的BI工具，能够快速、灵活、多视角、丰富地展示各类数据。建立科学的数据模型。根据证券行业业务的特点，结合科学的数据组织方式搭建企业数据仓库，为今后数据统计、数据分析和数据挖掘打好基础。分步骤建设数据中心。数据中心是一个持续建设的项目，我们将根据我们的现实需求和未来需求分步骤来建设我们

5、的数据中心。（国家发改委项目）一、项目概述：What？数据加工厂。在保持业务数据原始性和完整性的基础上，按一定的业务规则、指标、粒度对数据进行加工处理。数据服务者。建设统一的数据服务平台，为各个业务系统以一定服务形式提供所需数据。数据发布者。数据中心体现了数据的权威性，向外报送的数据可以以统一的口径对外服务。业务发动机。数据中心的建设为创新业务的开拓奠定了坚实的基础，有了数据中心的基础，我们可以很方便很快速开发和实施一些增值服务系统。价值发现者。通过数据中心数据长期的积累，我们可以从大量的、不完全的

6、、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的但又是潜在有用的信息和知识。案例：商场与网售一、项目概述：八项基本原则原则之一：逐步投入、分步建设原则之二：先易后难、逐步深入原则之三：标准统一、服务多样原则之四：架构稳定、灵活扩展原则之五：包容业务、有别业务原则之六：来自应用、服务应用原则之七：数据积累、知识发现原则之八：树立权威、体现创新二、系统介绍：技术框架原始数据操作数据数据仓库数据整合数据展示数据管理数据服务事务型DB：Oracle事务型DB：Oracle分析型DB：Green

7、PlumIBMDataStageIBMCognosDataStage、WebService快速开发平台RISC、AIXRISC、AIXX86、LinuxX86、LinuxX86、LinuxX86、LinuxX86、Linux二、系统介绍：数据关系ODSEDW交易营销资管财务清算客服内控资讯DATASTAGEETLDATASTAGEETLEDW交易数据清算数据营销数据财务数据其它数据非结构化数据交易数据清算数据营销数据财务数据其它数据规整数据ODSETL呼叫中心营销平台财务系统门户网站管理平台商业智能

8、工具元数据管理和质量管理其它系统数据服务平台二、系统介绍：处理流程三、建设过程：系统选型之数据仓库选型高性能。基于X86架构的多节点并行处理，MPP结构决定性能。低成本。包括硬件、软件、开发、扩展和维护成本。开放性。主流操作系统和数据库，支持主流的ETL、BI及开发工具。维护性。系统维护简单易学。GreenPlum满足了我们的需求！海量并行处理结构(MPP：MassiveParallelProcessing)由多个SMP服务器通过一定的节点互联网络进行连接，协同工作，