元数据及数据质量介绍课件.pptx

《元数据及数据质量介绍课件.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、元数据及数据质量介绍20160303议程内容数据管控元数据数据质量问题与讨论2>9/20/2021Confidential随着数据仓库的不断成长，你能回答下面的问题吗？3>9/20/2021源系统发生变化后数据仓库到底需要修改多少程序？发生了多少次变化？从年初到现在哪些系统变化最频繁？某个ETL加工程序到底经过多少开发人员的修改？每次改动的内容是什么？哪个源系统的数据质量最好？哪个小组开发质量最高？哪些字段采用了公共代码？代码映射规则是什么？哪些字段是需要做变形的敏感字段？在不同环境下同步的变形策略是什么？企业级信息管控体系企业级信息管控战略性和策略性管理，项目所有权和优先次序设定数据管

2、理界定日常持续创建、使用和废止数据的职责元数据管理用来描述如何、何时和由谁来负责数据的接收、创建、访问、修改和格式的数据数据标准数据的业务、技术规范性文档数据质量数据满足特定使用的适用度，包括完整性和业务规则遵从性数据整合对各主题进行数据清理、转换、整合和丰富的流程数据安全与隐私各业务主题对安全性和保密性的要求，包括审计能力主数据管理数据资产以及定义企业运营的关系人员、流程和技术企业级信息管控数据管理主数据管理数据质量元数据管理数据模型&业务视图数据安全与隐私数据整合数据标准4>9/20/2021数据管控实施的三个方向5>9/20/2021Confidential平台：数据管控团队的工作

3、必须建立在自动化的高效的信息平台。接口：企业的信息系统之间应按照数据管控接口规范进行交互。模板：信息系统向数据管控平台提交数据可以通过标准模板。技术流程：根据管控要求建立可执行工作流程，并严格执行工作流程。规范：企业的各工作岗位有数据管控团队制订的工作规范。制度：企业须建立数据管控的制度。流程组织：建立企业级的数据管控团队是数据管控的基础。角色：团队中按照管控的内容进行岗位的设置，即角色。职责：不同的角色拥有详细的工作职责。组织数据管控特点企业的分析型应用发展到一定的成熟度，就能发现数据管控的价值。数据管控是跨系统、跨部门的管理。数据管控必须有先进的管理方法论支持。数据管控是需要长期的、

4、渐进式的工作。数据仓库是执行数据管控理想的平台。6>9/20/2021Confidential企业数据管控成熟度7>9/20/2021Confidential系统A系统B系统n人员流程数据A数据B系统A系统B系统n人员数据管控部门系统A系统B系统n人员流程统一的数据管控系统标准企业级数据管控环境数据管控部门系统A系统B非系统人员流程标准服务符合业界规范的双向数据管控系统系统n成熟度1：未知级成熟度2：被动级成熟度3：主动级成熟度4：预测级数据管控成熟度模型我们建立了企业数据管控成熟度模型，该模型能够使企业识别和量化数据管控的成熟度，为企业的下一步数据管控提供指导。你的企业处在哪一级？Un

5、aware：未知的Reactive：被动的Proactive：能动的Predictive：预测的8>9/20/2021Confidential回报人员、流程、技术的整合程度风险数据管控平台架构Database数据管控知识库MetadataDQDSETL数据管控平台B/S应用DDLExcelXMLSourceDataSQL登录浏览搜索管理下载分析管理安全MartPDMStage用户层DBAAdminApplicationPlatform(TAP)业务单元MVC独立单元系统管理数据标准元数据数据质量需求管理数据安全灵活查询访问层应用层模型层数据层数据管控平台C/S应用ETLDBCPerl开发

6、应用需求开发SDM信息调研版本控制测试ETL开发工作模板控制批量加工数据管控平台应用10>9/20/2021Confidential业务应用数据管控门户数据管控的统一的登录网站，下列的数据管控系统均部署在数据管控门户上元数据元数据是数据管控的IT基础，包含业务元数据和技术元数据。建立企业级的元数据管理平台，支持双向的、动态的元数据。数据质量企业级的数据质量管理平台，拥有统一的检查规则管理、检查规则的审批流程定义，并在各业务系统上部署检查Agent程序，汇总检查结果与错误明细。数据标准数据标准管理平台，数据标准的维护与发布，标准与元数据建立对应关系。在各业务系统部署标准执行监控Agent程

7、序，统计标准执行情况。数据安全统一的数据安全管理平台，根据与元数据的关系，定义数据在整个业务线、数据线的安全管理规则。需求管理管理需求生命周期，需求确认、需求跟踪、需求变更等内容，以及需求与开发模块之间的关系，需求与最终的接口、映射加工内容等元数据的关系。仓库资源计费通过给出资源（磁盘、CPU）的价格，计算出应用在中消耗的资源成本，以计算应用的ROI灵活查询基于B/S的灵活查询平台，能进行企业BI知识管理，数据挖掘与分析。管控知识库