数据分析平台方案

《数据分析平台方案》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、数据分析平台方案北京荣之联科技股份有限公司Thispresentation,includinganysupportingmaterials,isownedbyUECand/oritsaffiliatesandisforthesoleuseoftheintendedUECaudienceorotherauthorizedrecipients.Thispresentationmaycontaininformationthatisconfidential,proprietaryorotherwiselegallyprotected,anditmaynotbe

2、furthercopied,distributedorpubliclydisplayedwithouttheexpresswrittenpermissionofUECoritsaffiliates.©2014UnitedElectronicsCo.,Ltd.and/oritsaffiliates.Allrightsreserved.目录数据集中与整合数据管理与分析数据挖掘数据集中与整合-基础数据平台项目背景及目标背景：经过多年的计算机业务处理，许多企业保存了大量原始数据和各种业务数据,它是企业生产经营活动的真实记录，由于缺乏集中存储和管理，这些数据不能

3、为本企业加以利用,不能进行有效的统计、分析及评估，无法将这些数据转换成企业有用的信息。项目目标：建立数据中心，将分布在各个信息孤岛的数据进行集中，并实现有效的信息整合，建立覆盖企业全领域的数据视图，为将数据转化为知识奠定基础。量，同时为后续建设系统提供指导。系统逻辑架构与要点分析要点分析数据架构：合理划分数据层次，明确每层数据形态、作用与生命周期。基础数据模型：建立企业全领域统一业务视图，并能够保障数据模型的稳定性和可扩展性，以能够持续发挥作用。系统技术架构数据集中与整合-ETL项目背景及目标背景：ETL(Extract-Transform-Load的

4、缩写，即数据抽取、转换、装载的过程)是BI（BusinessIntelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向数据仓库和目标应用转化的过程，是实施数据仓库的重要步骤。目标：根据业务系统和目标系统的实际需要，采用专门的技术方法和工艺流程，对数据进行迁移、加工、计算，最终完成数据从分散到集中、从独立到整合，从原始到可用的过程。量，同时为后续建设系统提供指导。系统架构与要点分析要点分析作业：即数据加工处理的过程，作业需要根据要求采取适当的技术方法。数据流：应按照数据加工需求，合理设计数据加工作业前后依赖关

5、系，以保证数据处理的独立性和可并行性。调度与监控：需要有灵活的调度方式，并能够监控数据处理过程，对出现的问题及时进行干预。ETL技术架构元数据管理ETL调度与监控操作元数据技术元数据数据接入层ODSDDSQDS数据卸载准实时区公共参数作业全量文本历史区公共参数标准化增量区代码处理参数生成增量文本增量比对事件触发数据合并数据清洗任务快照增量插入空值默认值时间触发增量拉链数据值格式日期值全量区文件落地全量快照代码标准化作业预处理人工统计币种相关代码日期判断证件……文件检查数据检查数据交换数据交换文件备份数据检查数据交换数据质量管理数据交换数据集中与整合-统

6、一数据共享与交换项目背景及目标背景：由于现时银行各部门、各机构信息化建设的独立性，带来资源分散、信息共享困难等问题，而且形成彼此隔离的“孤岛式”的信息系统，严重影响业务配合与协同服务的深度发展。因此，如何整合系统内各应用系统和数据资源，架构一个统一的数据共享平台，实现数据资源全面整合和共享，成为提高信息整体应用水平的关键环节。目标：建设统一共享交换平台提供信息共享的手段，打破部门间的信息孤岛，使各机构与各部门的数据能够互联互通，通过共享交换平台，业务数据都可以实时的相互查询和访问，以提高业务协作水平。量，同时为后续建设系统提供指导。系统架构与要点分析要

7、点分析信息资源目录：各机构部门将各自拥有的信息资源进行注册，形成全局信息资源视图，并能够通过信息资源目录了解到企业全部信息资源。数据交换：在安全框架下，采用技术手段，将数据从提供者传输到需求者。资源管理：可建立灵活的信息资源管理机制，实现信息资源的安全可控。数据集中与整合-ECIF项目背景及目标背景：随着金融市场化改革的推进，国内金融行业间的竞争日趋激烈。同时外资银行进入后，正在以一流的服务和产品争夺优质客户，带给国内银行巨大的竞争压力。各家银行在争取和实施与客户的交流权、交易权、服务权的同时，更重视对客户关系的维护，争取和留住更多的高端客户，必将要求

8、各银行必须尽快地从“以产品为中心”的经营模式转向“以客户为中心”的经营模式，迅速提升银行的核心