数据管控平台建设

《数据管控平台建设》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据管控平台建设数据管控总体规划管管管管管管管管数据规范管管数据数据质量形态管管管管管管管管管管管管控体系中的数据标准、数据质量和元数据之间有着紧密的关系，三者的关系如下：数据标准向元数据提供业务元数据的标准定义，并可以通过元数据平台进行维护；数据标准定义了符合进仓数据的标准和依据，指导数据质量进行有效的质量监测和检查；另一方面，通过数据质量具体的操作来促进数据标准的执行情况；元数据作为数据质量的数据提供者，向数据质量提供包括表、字段、代码等元数据对象及其属性定义，能够帮助仓库的使用者更好的发现数据的质量问题；2元数据平台管理体系架构3元数据的基础功能元数据查询浏览：侧重于对元数

2、据的内容展现和查询方式支持元数据数据分析：侧重于基于元数据的分析功能，从数据中提取对技术、业务用户有用的信息元数据管理：元数据平台的管理功能BI元数据和企业级元数据的互动：企业级元数据经ETL平台加工整理进入仓库，形成BI元数据，可通过血缘分析和影响分析功能查看两者的互动关系；4元数据管理平台实施步骤了解和评估光大目前元数据的实施和使用情况确定元数据功能需求和数据涵盖范围确定元数据平台的部署环境设计开发元数据产品（包括元模型、应用架构等）和适配器元模型存储库的创建和初始化元数据应用的部署和光大其它资源集成，比如统一门户Portal技术元数据的加载：通过技术元数据适配器

3、，从仓库环境以自动或者手工方式，定时或者按需加载技术元数据业务元数据的加载：整理业务元数据，并通过业务元数据适配器导入；业务元数据的加载需要人工参与功能需求的新增开发界面的优化调整元数据的数据维护：通过元数据平台前端进行人工维护，也可通过适配器进行批量维护元数据的功能维护：协调元数据平台开发人员进行功能调整和完善5数据质量平台架构管理配置平台：质量规则的管理维护，支持用户界面手工编辑方式进行维护或者文件方式批量导入检查执行平台：数据质量知识库中抽取相关质量规则，以检查脚本为载体，通过ETL服务器任务调度，完成数据检查，并将检查结果保存进数据质量知识库质检报告展示平台：以W

4、EB页面或者文件方式查看质量检查结果6数据质量检查工作流程步骤1，建立质量检查规则：通过质量规则配置管理平台手工配置或者通过批量导入功能将质检规则导入数据质量知识库；步骤2，检查任务发布：通过检查执行平台，从数据质量知识库中提取检核规则，以脚本方式实现，检查任务为载体，并将检查任务发布到ETL服务器上并作为ETL任务一部分执行；如果采用手工方式检查数据，此步骤可略过；步骤3，数据质量检测：通过检查执行平台的调度功能，运行质检任务，并将数据质量检查结果返回数据质量知识库；如果采用手工方式检查数据，可人工从知识库提取检核规则并执行，检查结果也需通过质量平台维护进入知识库；步骤4，检核

5、结果查看：通过质检报告展示平台，通过平台用户界面或文件方式查阅数据质量检查结果；7数据质量监控流程发现质量问题后，数据管理组分析问题，审阅数据质量报告；数据生产者追溯问题原因，修正相关数据；业务责任组判断现有监控方式、流程能否发现该问题，并提出解决方案;数据管理组审批并执行方案，并对修正后的数据进行验收8数据质量管理办法1.策略制定Text2.评估方法制定5.效果评估3.数据监控4.改进措施策略制定：制定数据质量管理办法，包括数据质量稽核方法；评估方法制定：定义评估数据质量的指标及计算方法；数据监控：通过数据质量管理工具对数据质量状况进行监控，及时发现问题并提交相关人员解决

6、；改进措施：针对发现的数据质量问题，制定相关改进方法；效果评估：对于数据质量改进效果，定期进行评估。9谢谢！10