大数据迁移整合方案设计

《大数据迁移整合方案设计》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、实用标准1.历史数据的迁移整合本次系统是在原有系统的基础上开发完成，因此，新旧系统间就存在着切换的问题。另外，新开发的系统还存在与其他一些应用系统，例如，企业信用联网应用系统、企业登记子网站、外资登记子网站等系统进行整合使之成为一个相互连通的系统。本章将针对新老系统迁移和整合提出解决方案。1.1.新老系统迁移整合需求分析系统迁移又称为系统切换，即新系统开发完成后将老系统切换到新系统上来。系统切换得主要任务包括：数据资源整合、新旧系统迁移、新系统运行监控过程。数据资源整合包含两个步骤：数据整理与数据转换。数据整理就是将原系统数据整理为系统转换程序能够识别的数据；数据转换就

2、是将整理完成后的数据按照一定的转换规则转换成新系统要求的数据格式，数据的整合是整合系统切换的关键；新旧系统迁移就是在数据正确转换的基础上，制定一个切实可行的计划，保证业务办理顺利、平稳过渡到新系统中进行；新系统运行监控就是在新系统正常运转后，还需要监控整个新系统运行的有效性和正确性，以便及时对数据转换过程中出现的问题进行纠正。系统整合是针对新开发的系统与保留的老系统之间的整合，以保证新开发的系统能与保留的老系统互动，保证业务的顺利开展。主要的任务是接口的开发。1.2.需要进行迁移整合的系统1.3.数据迁移整合分析根据招标文件工商总局新建系统的数据库基于IBM文档大全实用

3、标准DB2，而原有系统的数据库包括ORACLE，SQLServer，DB2。这种异构数据在总局主要存在于两个方面，即部门内部的异构数据和上下级部门之间的异构数据。同时，系统的技术构件有.NET和J2EE两大类。对于部门内部的异构数据的集成采用数据移植的方法，如：如果数据有基于DB2管理的，有ORACLE管理的，有SQLServer管理的，就根据新系统DB2的要求，把ORACLE的数据迁移到DB2数据库中，把SQLServer的数据迁移到DB2数据库中。上下级国工商局之间的异构数据的集成利用数据交换系统来完成，重点在于数据库存储标准、交换标准的制定和遵守，保证数据的共享，

4、这部分工作由数据中心完成。1.1.系统迁移和整合目标1.1.1.系统迁移的主要目标：1.保证系统正常运行在数据转换过程中，由于原有的系统数据的复杂性，给数据转换工作带来了很大的难度，为了在新系统启动后不影响原系统正常的业务，因此数据转换完成后，必须保证新系统的正常运行。2.保证原有系统在新系统中的独立性原有系统是独立运行的系统，数据在新系统中虽然是集中存放的，但是各个系统由于存在业务上的差别，数据在逻辑上应当保持一定的独立性。1.1.2.系统整合的目标：保证直接关联的系统互动，保证业务的正常办理。例如公众服务系统与基本业务系统之间互动，基本业务与协同业务之间互动等等。文

5、档大全实用标准1.1.系统切换方案1.1.1.系统切换工作流程系统切换包括前期调研、数据整理、数据转换、系统切换、运行监控五个阶段。系统切换的整个工作流程如下所示。1.1.2.系统切换工作步骤1.前期调研阶段前期调研是数据转换中很重要的一个步骤，也是至关重要的一部分。在进行数据转换工作前，我们需要先认真阅读系统的相关文档，如《数据字典》、《系统概要设计报告》等，来熟悉原有的系统。当然在阅读文档的过程中肯定还会有理解不清晰的地方，这时还需要熟悉原有系统的工程师的帮助。数据转换的前期工作就是对原系统做一次彻底的全面了解，主要需要的考虑的有下面一些情况：1)原系统的网络结构；

6、2)原系统的业务范围、存在几套业务系统以及他们之间的关系；3)原系统的开发商、开发工具、开发平台以及采用的数据库；4)原系统的数据分布状况：包括数据范围、数据量大小等；文档大全实用标准1)原系统的业务流程；2)原系统的数据流程；3)原系统的数据结构；在了解这些要素的基础上，需要编写《前期调研分析报告》。调研报告主要包含如下一些方面：1、将所有数据表进行分类，如系统参数类、代码类、综合业务类、相关业务类等等。2、对所有数据表的数据组成、数据来源、用途等进行描述。3、并非所有的数据都是需要进行转换的，在《数据字典分析报告》中要指出那些数据表是需要进行转换的，那些是不需要进行

7、转换的，对于不需要转换的表要说明不需要转换的原因。4、描述数据在各表中的流向，对于关键的或复杂的业务点要做详细说明。1.转换设计阶段转换设计阶段主要是完成新旧数据字典的对照，同时明确各个表中具体数据字段的转换方式。在转换设计阶段主要是编写《数据字典对照报告》《数据字典对照报告》主要描述新旧系统数据表间的对照关系以及代码对照关系。以新系统为准，原系统作参照，将原系统的数据字典对应到相应的系统数据字典中。在对照过程中，需要遵循数据照搬原则，数据尽量不要作处理。在数据字典对照表中需要进行转换的数据字段应该一一对应，对新旧数据表中字段的名称、类型