Sagent数据整合与集中技术白皮书

《Sagent数据整合与集中技术白皮书》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据整合与集中Sagent数据整合与集中技术白皮书Sagent(中国)二零零贰年元月台网信息技术（上海）有限公司20　　　　　　　数据整合与集中1前言31.1数据集中31.2数据下传31.3数据清洁31.4集中交易与数据整合32数据整合系统需求52.1数据整合业务需求52.1.1整合面临的问题52.1.2数据整合处理52.1.2.1数据抽取52.1.2.2数据转换62.1.2.3数据装载62.2数据整合调度需求72.2.1变化数据获取72.2.2调度流程需求72.2.3异常处理72.3非功能性指标73SAGENT解决方

2、案93.1Sagent体系结构93.2业务规则设计工具－DesignStudio103.2.1基本视图（BaseView）与元视图（MetaView）103.2.1.1概念介绍103.2.1.2建立视图113.2.2计划（Plan）113.3数据转换工具－Transform123.3.1数据抽取133.3.2数据转换143.4调度设计工具－Automation143.4.1变化数据获取（CDC）143.4.2处理过程调度143.4.3异常处理过程163.5管理工具－Admin173.5.1元数据管理173.5.2服务器

3、管理173.6执行引擎－DataLoadServer183.6.1并行计算183.6.2流水线结构194建设数据整合系统204.1设计阶段204.2实施阶段204.3部署阶段20台网信息技术（上海）有限公司20　　　　　　　数据整合与集中1前言数据是信息时代最重要的财富，数据逐渐称为一个企业管理的命脉。然而对于数据又是很多企业非常头疼的事情。随着数据的逐步膨胀，怎样及时掌握企业的数据？了解企业发展状况？－越来越难于得到这样的答案。Sagent数据整合技术，给各种企业解决了上述的问题。数据整合是一项复杂而艰巨的工作，包括

4、了数据集中、数据下发和数据清洁等三个方面。Sagent数据整合技术，将这样的工作变得简单有效，并且便于管理。从而使企业能够提高其企业对数据的利用效率。1.1数据集中数据整合的第一项任务是数据集中。数据集中是是Sagent数据整合技术中经常遇到第一个问题。企业的电子化过程是逐步展开的，首先建立各种业务系统。由于企业本身在地区上具有分散性，业务系统根据企业的建制形成了分散的系统。分散的数据给各地的分支机构运作带来了充分的灵活性，同时也给总部的分析决策带来数据不全面的问题。总部看到的报表不能完全反应企业的运营状况。为了解决这

5、样的问题，Sagent数据整合技术，数据集中，然后将各业务系统仍然建立在各分支机构。从而保证了分支机构运作的灵活性，也保证了总部数据的集中性。1.2数据下传一个企业统一管理，保障了企业运作的效率和企业运作的统一性。在这样的统一管理机制下，怎样使分支机构能够及时得到总部的相关数据也是非常重要的。这就是企业的数据下发，数据下发能够保障企业的分支机构在一定灵活性的前提下，充分执行总部的相关策略。1.3数据清洁我们进行数据集中，遇到的第一个问题就是数据的清洁问题。首先，由于企业的业务系统是通过不同的阶段，在不同的地区逐步建立起

6、来的。因此，业务系统的开发商各不相同，从而很难保证数据的一致性。其次，业务人员在对业务系统的操作过程中，很难保证完全的一致录入相关数据。由此，产生了数据的不完全兴、不清洁等一系列问题。数据清洁解决了上述的问题，数据清洁对于任何数据整合项目来说都是必不可少的。1.4集中交易与数据整合集中管理与集中交易目前是许多企业所面临的棘手的问题，解决这个问题主要的方法有：集中交易（业务和数据同时集中）和数据整合等两种方式。这两种方式之间有着非常紧密的关系，集中交易系统包含了数据整合的规则，而没有包含数据整合的更新调度等机制。集中交易

7、：将业务系统的每一次交易，都在总部进行，通常通过交易型中间件来进行数据库的访问。集中交易系统同时也需要将历史数据集中的总部来。所以，集中交易至少考虑两个方面的问题：历史数据的集中和集中交易系统的建设。历史数据的集中实际上，就是数据整合系统，但是由于只是对历史数据，因此，整合系统不需要考虑相关的数据更新等问题。台网信息技术（上海）有限公司20　　　　　　　数据整合与集中数据整合：通过两个步骤来实现，首先针对历史数据制定数据整合规则；然后，针对数据更新情况制定数据更新调度流程。集中交易和数据整合之间比较，数据整合节省了大量

8、的软硬件投入，带来的分支机构的业务灵活性。通常数据整合系统降低了集中的实时性。数据整合系统能够充分利用分支机构现有的软硬件设施。台网信息技术（上海）有限公司20　　　　　　　数据整合与集中1数据整合系统需求设计数据整合系统通常通过以下两个大的方面：整合业务需求和整合调度需求。1.数据整合业务需求：完成整合的业务规则，首先确定数据从